MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文研究非光滑凸设置下的通信高效联邦优化,通过改进下行链路通信并扩展 EF21-P 和 MARINA-P 算法,证明了其最优收敛率与通信复杂度,并验证了自适应步长下 MARINA-P 的优越性能。
2024-12-22 cs.LG math.OC stat.ML
Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization
KAUST(阿卜杜拉国王科技大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);MIPT(莫斯科物理技术学院)
本文针对广义光滑非凸联邦优化问题,提出并分析了结合局部步、客户端部分参与和随机重排的新方法,在Polyak-Łojasiewicz条件下给出理论保证,并通过实验验证了方法的有效性。
2025-04-11 cs.LG math.OC
Certifiably-Robust Federated Adversarial Learning via Randomized Smoothing
University of Utah(犹他大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对联邦学习易受对抗攻击且缺乏可认证保证的问题,本文将随机化平滑引入联邦对抗训练,在分布式隐私设置下获得与集中式训练相当的 ℓ2 可认证鲁棒性,并使训练速度提升 2–3 倍。
2021-03-30 cs.LG
Smoothing ADMM for Non-convex and Non-smooth Hierarchical Federated Learning
Norwegian University of Science and Technology(挪威科技大学)
本文提出一种结合平滑技术的分层联邦学习ADMM框架,支持异步更新、多层灵活正则化以及共识与个性化学习,实验证明其在非凸非光滑场景下收敛更快、精度更高。
2025-03-11 cs.LG
Federated Learning for the Design of Parametric Insurance Indices under Heterogeneous Renewable Production Losses
ENSAE IP Paris, CREST UMR 9194(ENSAE巴黎研究所、CREST UMR 9194)
本文提出联邦学习框架,用于在异质可再生能源损失下校准参数保险指数,通过分布式优化实现通用且可扩展的解决方案。
2026-08-13 cs.LG stat.ML
Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
Google Research(谷歌研究院)
我们研究了一系列的算法,我们称之为本地更新方法,概括了许多联邦和元学习算法。我们证明了,对于二次模型,局部更新方法是等价于一阶优化的替代损失,我们确切地描述。此外,基本的算法选择(如学习率)显式地管理替代损失的条件数与其与真实损失的对齐之间的权衡。我们得到新的收敛率展示这些权衡,并强调其重要性,在通信有限的设置。使用这些见解,我们能够比较局部更新方法的基础上,他们的收敛/精度权衡,而不仅仅是他们的收敛到临界点的经验损失。我们的研究结果为广泛的现象提供了新的视角,包括服务器动量在联邦学习中的功效以及最近端客户端更新的影响。
2021-03-08 cs.DC cs.LG math.OC
Loss Tolerant Federated Learning
University of Helsinki(赫尔辛基大学);Tongji University(同济大学);Hong Kong University of Science and Technology(香港科技大学)
近年来,联邦学习在分布式设备上协同训练数据并保护隐私方面引起了人们的关注。移动和物联网设备的网络容量有限,一直被视为跨设备联邦学习的主要挑战之一。最近的解决方案一直专注于基于阈值的客户端选择方案,以保证通信效率。然而,我们发现这种方法可能会导致偏见的客户端选择和性能恶化的结果。此外,我们发现,网络限制的挑战在某些情况下可能被夸大了,数据包丢失并不总是有害的。在本文中,我们探讨了损失容忍联邦学习(LT-FL)的聚合,公平性和个性化。我们使用ThrowRightAway(TRA)来加速低带宽设备的数据上传,故意忽略一些数据包丢失。结果表明,TRA算法与其他算法的适当结合,可以在一定的丢包率(10%~ 30%)下保证个性化和公平性。
2021-05-08 cs.AI cs.LG cs.NI
Fed-Focal Loss for imbalanced data classification in Federated Learning
Hike Ltd.(Hike有限公司);IITM, Gwalior(瓜廖尔IITM)
联邦学习设置具有协调设备网络上的模型训练的中央服务器。其中一个挑战是当数据集具有类别不平衡时的可变训练性能。在本文中,我们解决这个问题,通过引入一个新的损失函数称为美联储焦点损失。我们建议通过重塑交叉熵损失来解决类别不平衡问题,使其降低分配给分类良好的示例的损失的权重。此外,通过利用可调采样框架,我们考虑了中央服务器上的选择性客户端模型贡献,以在训练期间进一步关注检测器,从而提高其鲁棒性。使用详细的实验分析与虚拟(变分联邦多任务学习)的方法,我们表现出一贯优越的性能在平衡和不平衡的情况下MNIST,FEMNIST,VSN和HAR基准。我们在不平衡的MNIST基准中获得了超过9%(绝对百分比)的改善。我们进一步表明,我们的技术可以在多个联邦学习算法中采用,以获得改进。
2020-11-12 cs.DC cs.LG
Loss Gap Parity for Fairness in Heterogeneous Federated Learning
本文提出EAGLE算法,通过调节全局模型以减少客户端间的损失差距差异,提升异构联邦学习中的公平性与性能。
2026-03-31 cs.LG
Personalized Multi-tier Federated Learning
本文提出多层架构下的个性化联邦学习(PerMFL),以低通信成本捕获数据异质性,为设备提供定制化模型,并给出理论收敛保证及实验验证。
2024-07-19 cs.AI cs.LG math.OC
Connecting Low-Loss Subspace for Personalized Federated Learning
Ulsan National Institute of Science and Technology(蔚山科学技术院);Kakao Enterprise(Kakao企业)
由于客户端之间统计异质性的诅咒,采用个性化的联邦学习方法已成为成功部署基于联邦学习的服务的必要选择。在个性化技术的不同分支中,基于模型混合的个性化方法是优选的,因为作为联邦学习的结果,每个客户端具有其自己的个性化模型。它通常需要一个本地模型和一个联邦模型,但这种方法要么局限于部分参数交换,要么需要额外的本地更新,每一个都是无助的新客户端和客户端的计算能力的负担。由于已经发现在两个或多个独立的深度网络之间存在包含不同低损失解决方案的连接子空间,我们将这个有趣的特性与基于模型混合的个性化联邦学习方法相结合,以提高个性化的性能。我们提出了SuperFed,一种个性化的联邦学习方法,该方法在权重空间中引入局部和联邦模型的最优值之间的显式连接,以相互提升。通过在多个基准数据集上的大量实验,我们证明了我们的方法在个性化性能和对现实服务中可能出现的问题场景的鲁棒性方面都取得了一致的收益。
2022-08-11 cs.AI cs.LG
Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification
Institute of Communications Engineering, National Tsing Hua University(国立清华大学通信工程研究所);University of Electronic Science and Technology of China(电子科技大学);Singapore University of Technology and Design(新加坡科技设计大学);Yonsei University(延世大学)
针对非凸非光滑联邦学习中通信效率与隐私保护的冲突,提出带双向模型稀疏化和差分隐私保证的联邦原始-对偶算法,并通过收敛分析与真实数据实验验证其优越性。
2024-04-03 cs.LG
Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
Norwegian University of Science and Technology-NTNU(挪威科技大学);Aalto University(阿尔托大学)
针对物联网分布式稀疏高维数据的隐私保护分析需求,提出融合平滑机制与近端梯度框架的联邦分位数回归算法FSPG,可高效处理非凸惩罚与非光滑损失,提升估计精度与收敛可靠性。
2024-08-13 cs.AI cs.LG
Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data
KTH Royal Institute of Technology(皇家理工学院);UC Berkeley(加州大学伯克利分校);The Chinese University of Hong Kong(香港中文大学)
针对异质客户端数据下紧致光滑子流形上的非凸联邦学习问题,提出融合随机黎曼梯度、流形投影与局部更新的算法,证明其次线性收敛并显著降低计算与通信开销。
2024-06-12 cs.DC cs.LG
Network Adaptive Federated Learning: Congestion and Lossy Compression
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
为了实现分布式数据的隐私和学习的双重目标,联邦学习(FL)系统依赖于一组客户端和服务器之间频繁交换大文件(模型更新)。因此,FL系统暴露于跨广泛的网络资源集合的拥塞,或者实际上是跨广泛的网络资源集合的拥塞的原因。有损压缩可用于减少交换文件的大小和相关延迟,代价是向模型更新添加噪声。通过明智地调整客户端的压缩以适应不同的网络拥塞,FL应用程序可以减少挂钟训练时间。为此,我们提出了一个网络自适应压缩(NAC-FL)的政策,它动态地改变客户端的有损压缩选择网络拥塞的变化。在适当的假设下,我们证明了NAC-FL在直接最小化预期挂钟训练时间方面是渐近最优的。此外,我们通过模拟表明,NAC-FL实现了鲁棒的性能改进,在设置中具有更高的增益与时间上的正相关延迟。
2023-01-11 cs.LG cs.NI math.PR
Federated Accelerated Stochastic Gradient Descent
Stanford University(斯坦福大学)
我们提出了联邦加速随机梯度下降(FedAc),联邦平均(FedAvg,也称为本地SGD)的分布式优化的原则性加速。FedAc是FedAvg的第一个可证明的加速,它提高了各种凸函数的收敛速度和通信效率。例如,对于强凸和光滑函数,当使用$M$工作器时,如果给定$M$同步轮,则先前最先进的FedAvg分析可以在$M$中实现线性加速,而FedAc仅需要$M^{\frac{1}{3}}$轮。此外,我们证明了更强的保证FedAc时,目标是三阶顺利。我们的技术是基于一个潜在的基于扰动的稳定性分析,一种新的稳定性分析广义加速SGD,加速和稳定性之间的战略权衡。
2021-06-05 cs.DC cs.LG math.OC
SecureBoost: A Lossless Federated Learning Framework
University of California, Los Angeles(加州大学洛杉矶分校);Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
保护用户隐私是机器学习的一个重要问题,2018年5月欧盟(EU)推出的《通用数据保护条例》(GDPR)就是明证。GDPR旨在让用户更好地控制其个人数据,这促使我们探索不侵犯用户隐私的机器学习数据共享框架。为了实现这一目标,在本文中,我们提出了一种新的无损隐私保护树提升系统称为SecureBoost的设置联邦学习。SecureBoost首先在隐私保护协议下进行实体对齐,然后使用精心设计的加密策略在多方之间构建提升树。这种联邦学习系统允许学习过程在具有共同用户样本但不同特征集的多方上联合进行,这对应于垂直分区的数据集。SecureBoost的一个优点是,它提供了与非隐私保护方法相同的准确性水平,同时不会透露每个私人数据提供商的信息。我们证明了SecureBoost框架与其他需要集中数据的非联邦梯度树提升算法一样准确,因此对于信贷风险分析等工业应用来说,它具有高度的可扩展性和实用性。为此,我们讨论了协议执行过程中的信息泄漏,并提出了可证明地减少它的方法。
2021-04-07 cs.LG stat.ML
Federated Learning Framework via Distributed Mutual Learning
Lakehead University(湖首大学)
本文提出一种基于分布式互学习的联邦学习框架,通过共享损失预测而非模型权重来降低通信开销并保护隐私,在口罩检测任务上取得了优于权重共享方法的准确率和泛化性能。
2025-03-03 cs.AI cs.LG
Fast Composite Optimization and Statistical Recovery in Federated Learning
Shanghai Jiao Tong University(上海交通大学);George Mason University(乔治梅森大学)
联邦学习(FL)是一种流行的分布式学习范式,它在大量通信不频繁的设备上训练全局模型。研究了FL环境下一类复合优化与统计恢复问题,其损失函数由一个依赖于数据的光滑损失函数和一个非光滑正则化函数组成.例子包括稀疏线性回归使用Lasso,低秩矩阵恢复使用核范数正则化等,在现有的文献中,联邦复合优化算法的设计只从优化的角度没有任何统计保证。此外,他们没有考虑统计恢复问题中常用的(限制)强凸性。我们从优化和统计的角度推进这个问题的前沿。从优化的前期,我们提出了一个新的算法命名为\textit{Fast Federated Dual Averaging}强凸和光滑的损失,并建立最先进的迭代和通信复杂性的复合设置。特别是,我们证明,它享有一个快速的速度,线性加速比,并减少通信轮。从统计学的角度出发,针对有约束的强凸光滑损失,设计了另一种算法,即\textit{Multi-stage Federated Dual Averaging},并证明了一个高概率复杂度界,线性加速比达到最优统计精度。在合成和真实数据中的实验表明,我们的方法比其他基线更好。据我们所知,这是第一个工作提供快速优化算法和统计恢复保证复合问题的FL。
2022-10-03 cs.LG stat.ML
Achieving Linear Speedup for Composite Federated Learning
KTH Royal Institute of Technology(皇家理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出基于法向映射的FedNMap方法,通过法向映射更新处理非光滑项并采用局部校正策略减轻数据异质性,在非凸损失下首次实现关于客户端数和本地更新次数的线性加速。
2026-05-28 cs.LG math.OC
Asynchronous Decentralized Federated Learning over Lossy Wireless Links via Reception- and Age-Aware Aggregation
University of Melbourne(墨尔本大学);University of Technology Sydney(悉尼科技大学)
针对无线网络下分散式联邦学习的选择偏差和更新过时问题,提出结合逆概率加权与信息年龄加权的DFL-AA方法,理论消除链路质量偏差,实验优于现有基线。
2026-06-17 cs.DC cs.LG
Jellyfish: Zero-Shot Federated Unlearning Scheme with Knowledge Disentanglement
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出Jellyfish方案,通过合成数据生成、知识解耦、损失函数设计和模型修复四个方面,实现零样本联邦反遗忘,有效保护隐私并维持模型效用。
2026-04-05 cs.CR cs.LG
FedGreed: A Byzantine-Robust Loss-Based Aggregation Method for Federated Learning
School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学);Department of Mathematics and Informatics(数学与信息学系);Faculty of Sciences, University of Novi Sad(自然科学学院,诺维萨德大学)
针对客户端存在拜占庭攻击的联邦学习场景,提出无需假设对抗参与者比例的FedGreed聚合策略,基于服务器可信数据集的损失指标排序并贪婪选择损失最小的客户端子集,在异构数据下可靠运行且性能显著优于现有基线。
2025-08-25 cs.LG
A Huber Loss Minimization Approach to Byzantine Robust Federated Learning
Zhejiang Lab(浙江大学实验室)
本文提出一种基于 Huber 损失最小化的新型聚合器以防御联邦学习中的对抗攻击,理论证明其在 i.i.d 下对受攻击比例 $ε$ 依赖最优且无需精确了解 $ε$,并支持不等数据量,同时扩展至 non-i.i.d 数据场景。
2024-03-25 cs.AI cs.LG
On Principled Local Optimization Methods for Federated Learning
Stanford University(斯坦福大学)
本论文围绕联邦学习局部优化方法的理论缺口,分析 FedAvg 的迭代偏差与紧致收敛界,提出可证明加速且更省通信的 FedAc,并设计 Federated Dual Averaging 解决复合优化中的原始平均诅咒。
2024-01-24 cs.DC cs.LG math.OC
FedRSPO+: A Heterogeneity-aware Algorithm for Decision-focused Federated Learning
Auburn University(奥本大学)
针对跨孤岛场景下决策聚焦联邦学习中的目标与可行集异构性问题,提出基于正则化投影平滑的FedRSPO+框架,并证明其决策误差界与跨客户端异构性界,实验验证平滑策略的有效性。
2026-10-08 cs.LG math.OC stat.ML
Federated Survival Analysis with Discrete-Time Cox Models
Owkin Inc.(Owkin公司);Hospital Israelita Albert Einstein(爱因斯坦以色列医院);French Red Cross Innovation(法国红十字会创新中心)
使用联邦学习(FL)从位于不同中心的分散数据集构建机器学习模型是一种很有前途的方法,可以在保护隐私的同时规避本地数据稀缺性。然而,用于生存分析的显著Cox比例风险(PH)模型不适合FL框架,因为其损失函数相对于样本不可分离。绕过这种不可分离性的简单方法包括计算每个中心的损失,并最小化它们的总和作为真实损失的近似值。我们表明,由此产生的模型可能会遭受重要的性能损失,在一些不利的设置。相反,我们利用Cox PH模型的离散时间扩展,将生存分析作为一个具有可分离损失函数的分类问题。使用这种方法,我们使用标准FL技术对合成数据以及来自癌症基因组图谱(TCGA)的真实世界数据集进行训练生存模型,显示出与在聚合数据上训练的Cox PH模型相似的性能。与以前的工作相比,所提出的方法通信效率更高、更通用,并且更适合使用隐私保护技术。
2020-06-16 cs.LG stat.ML
CRFL: Certifiably Robust Federated Learning against Backdoor Attacks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Zhejiang University(浙江大学);IBM Research(IBM研究院)
联邦学习(FL)作为一种分布式学习范式,它聚集来自不同客户端的信息来训练一个共享的全局模型,已经取得了巨大的成功。然而,恶意客户端可以执行中毒攻击和模型替换,将后门引入到训练好的全局模型中。虽然已经有大量的研究设计鲁棒的聚合方法和经验强大的联邦训练协议对后门,现有的方法缺乏鲁棒性认证。本文提供了第一个通用框架,可证明鲁棒联邦学习(CRFL),训练可证明鲁棒FL模型对后门。我们的方法利用模型参数的裁剪和平滑来控制全局模型的平滑性,这产生了对具有有限幅度的后门的样本稳健性认证。我们的认证还指定了与联邦学习参数的关系,例如实例级别的中毒率,攻击者数量和训练迭代。实际上,我们在一系列联邦数据集上进行了全面的实验,并为联邦学习中针对后门攻击的认证鲁棒性提供了第一个基准。我们的代码可在https://github.com/AI-secure/CRFL上获得。
2021-06-15 cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
由于联邦学习中的通信约束和间歇性客户端可用性,只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择,最近的工作有偏见的客户端选择表明,选择具有较高的本地损失的客户端可以提高误差收敛速度。然而,以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失,或利用陈旧的本地损失,这甚至可以使模型发散。在本文中,我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS,实现了更快的收敛,降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Loss-Guided Model Sharing and Local Learning Correction in Decentralized Federated Learning for Crop Disease Classification
INSA CVL, Université d’Orléans, PRISME Laboratory, EA 4229(INSA CVL,奥尔良大学,PRISME实验室,EA 4229);INSA CVL, Université d’Orléans, LIFO Laboratory, EA 4229(INSA CVL,奥尔良大学,LIFO实验室,EA 4229);Université d’Orléans, INSA CVL, PRISME Laboratory, EA 4229(奥尔良大学,INSA CVL,PRISME实验室,EA 4229)
本文提出一种基于验证损失引导模型共享和局部学习校正的去中心化联邦学习框架,利用PlantVillage数据集和三种深度学习架构进行实验,结果表明该方法显著提升了作物病害分类的准确率、收敛速度及在异构数据环境中的鲁棒性。
2025-05-29 cs.LG
Global Update Guided Federated Learning
Shanghai Jiao Tong University(上海交通大学);Key Laboratory of System Control and Information Processing, Ministry of Education of China(中国教育部系统控制与信息处理重点实验室);Shanghai Engineering Research Center of Intelligent Control and Management(上海智能控制与管理工程技术研究中心);Shanghai Dianji University(上海电机学院)
联邦学习通过交换模型而不是数据来保护数据隐私和安全。然而,参与客户端之间的不平衡数据分布损害了联邦学习算法的准确性和收敛速度。为了缓解这个问题,不同于以往的研究,限制局部模型的更新距离,我们提出了全球更新引导的联邦学习(FedGG),它引入了一个模型余弦损失到局部目标函数,使局部模型可以适应局部数据分布的指导下,全球模型的更新方向。此外,考虑到全局模型的更新方向在训练的早期阶段是有用的,我们提出了基于局部模型更新距离的自适应损失权重。数值仿真结果表明,与其他先进算法相比,FedGG算法在模型收敛精度和速度上都有显著提高。此外,与传统的固定损失权重相比,自适应损失权重使我们的算法更稳定,更容易在实践中实现。
2022-04-08 cs.DC cs.LG
Enhanced Byzantine-Robust Federated Learning Via Truncated-Quadratic Loss for Heterogeneous Data
Ocean College, Zhejiang University(浙江大学海洋学院);City University of Hong Kong(香港城市大学);Aalto University(阿尔托大学)
针对联邦学习中恶意攻击和数据异构性问题,提出利用截断二次损失的新鲁棒聚合规则,减轻现有方法偏差,在非凸损失函数和异构数据下实现最优阶拜占庭鲁棒学习,实验证明该聚合器鲁棒性优于其他技术。
2026-07-14 cs.LG
Decision-Focused Federated Learning Under Heterogeneous Objectives and Constraints
Auburn University(亚伯拉罕大学)
本文研究了在异质目标和约束下聚焦决策的联邦学习,通过SPO+替代损失推导出异质性界限,展示了在强凸可行集下联邦学习的鲁棒性,并通过实验验证了其有效性。
2026-05-16 cs.LG math.OC stat.ML
CLoVE: Personalized Federated Learning through Clustering of Loss Vector Embeddings
University of California, Berkeley(加州大学伯克利分校)
提出CLoVE算法,利用客户端损失向量嵌入进行聚类,实现个性化联邦学习,具有简单、适用监督和无监督任务、无需最优模型初始化等优点,理论证明可高概率准确恢复聚类并指数收敛。
2026-06-16 cs.AI cs.LG
Order Optimal Bounds for One-Shot Federated Learning over non-Convex Loss Functions
University of Alberta(阿尔伯塔大学);Leiden University(莱顿大学);Sharif University of Technology(谢里夫理工大学)
针对一次性联邦学习中的非凸损失最小化问题,提出MRE-NC算法,证明其期望损失达到阶最优下界。
2024-02-06 cs.LG
Pruning Federated Models through Loss Landscape Analysis and Client Agreement Scoring
Bielefeld University(比勒菲尔德大学);School of Engineering, Westlake University(西湖大学工程学院)
本文提出AutoFLIP框架,通过联邦损失探索识别鲁棒高效的子网络,减少计算和通信开销,提升非iid场景下的准确率。
2026-05-12 cs.AI cs.DC cs.ET
Doubly Adversarial Federated Bandits
London School of Economics and Political Science(伦敦政治经济学院)
研究双重对抗非随机联邦多臂老虎机问题,提出近似最优算法FEDEXP3,在无需交换臂身份或损失序列下实现次线性遗憾,并验证其有效性。
2023-10-21 cs.AI cs.LG cs.MA
Importance of Smoothness Induced by Optimizers in FL4ASR: Towards Understanding Federated Learning for End-to-End ASR
Apple(苹果公司)
本文系统研究联邦学习训练端到端ASR时优化器平滑性、CTC权重、初始化、归一化方式及FL超参数对词错误率的影响,并总结适用于端到端ASR的联邦学习最佳实践。
2023-09-22 cs.DC cs.LG cs.SD
Learning Federated Representations and Recommendations with Limited Negatives
Google Research(谷歌研究院);Google(谷歌)
深度检索模型广泛用于学习实体表示和推荐。联邦学习提供了一种保护隐私的方式来训练这些模型,而不需要集中用户数据。然而,由于客户端上的非IID(独立同分布)训练数据,联邦深度检索模型的性能通常比集中式模型差得多,这是联邦学习的固有属性,限制了可用于训练的负面影响。我们证明,这个问题是不同的,从通常研究的客户端漂移问题。这项工作提出了批量不敏感的损失,以减轻非IID负面问题的联合电影推荐。我们探索了各种技术,并发现批量不敏感的损失可以有效地提高联邦深度检索模型的性能,将联邦模型的相对召回率提高到93.15%,并将其与集中式模型之间的召回率相对差距从27.22% - 43.14%减少到0.53% -2.42%。我们还开源了我们的代码框架,以加速联邦深度检索模型的进一步研究和应用。
2021-11-02 cs.DC cs.LG
LF2L: Loss Fusion Horizontal Federated Learning Across Heterogeneous Feature Spaces Using External Datasets Effectively: A Case Study in Second Primary Cancer Prediction
National Yang Ming Chiao Tung University(国立阳明交通大学)
LF2L通过损失融合横向联邦学习有效利用外部数据集,提升第二原发癌症预测性能。
2026-03-07 cs.LG
Benchmarking Mutual Information-based Loss Functions in Federated Learning
BITS Pilani(Pilani大学);Queen Mary University of London(伦敦玛丽女王大学)
针对联邦学习的公平性挑战,本文研究基于互信息(MI)的损失函数,通过基准测试评估其在减少客户端差异、提升系统公平性与整体性能方面的效果。
2025-04-16 cs.DC cs.LG
Tackling Data Heterogeneity in Federated Learning via Loss Decomposition
School of Cyberspace, Hangzhou Dianzi University(杭州电子科技大学网络空间学院);New H3C Technologies Co., Ltd.(新华三技术有限公司);Computer Science and Engineering, University of California, Santa Cruz(加州大学圣克鲁兹分校计算机科学与工程系);Department of Statistics and Actuarial Science, The University of Hong Kong(香港大学统计与精算科学系)
本文提出FedLD方法,通过将联邦学习全局损失分解为本地损失、分布偏移损失和聚合损失,并结合边界控制正则化与主梯度聚合策略联合优化三项损失,从而在数据异质性下提升医学图像分类性能。
2024-09-30 cs.LG
Federated Loss Exploration for Improved Convergence on Non-IID Data
CITEC, Bielefeld University(CITEC,比勒菲尔德大学);Honda Research Institute Europe(本田欧洲研究院);School of Engineering, Westlake University(西太湖大学研究院)
针对非IID数据下联邦学习收敛难的问题,提出FedLEx方法,利用客户端梯度偏差构建全局引导矩阵,优化参数更新,无需额外数据共享,显著提升性能。
2025-06-23 cs.AI cs.LG
FedLECC: Cluster- and Loss-Guided Client Selection for Federated Learning under Non-IID Data
FedLECC通过聚类和损失引导的客户端选择策略,提升联邦学习在非独立同分布数据下的效率和可扩展性。
2026-03-09 cs.AI cs.DC cs.LG
Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits
University of Southern California(南加州大学);Amazon Alexa AI(亚马逊 Alexa AI)
局部随机梯度下降(SGD)与周期模型平均(FedAvg)是联邦学习的基础算法。该算法在多个工作者上独立运行SGD,并定期对所有工作者的模型进行平均。然而,当本地SGD与许多工人一起运行时,周期性平均会导致工人之间的显著模型差异,使全局损失缓慢收敛。虽然最近的先进优化方法解决了集中在非IID设置的问题,但由于潜在的周期性模型平均,仍然存在模型差异问题。我们提出了一个部分模型平均框架,减轻模型差异的问题,在联邦学习。部分平均鼓励局部模型在参数空间上保持彼此接近,并且它能够更有效地最小化全局损失。给定固定的迭代次数和大量的工人(128),部分平均比周期性的全平均实现了高达2.2%的高验证精度。
2022-01-11 cs.LG stat.ML
Improving Generalization in Federated Learning by Seeking Flat Minima
Politecnico di Torino(都灵理工大学);CINI(意大利国家信息学大学联盟)
在联邦设置中训练的模型通常会遭受性能下降和泛化失败的困扰,特别是在面对异构场景时。在这项工作中,我们调查这种行为,通过镜头的几何损失和海森本征谱,连接模型的缺乏泛化能力的解决方案的清晰度。受先前研究的启发,将损失表面的锐度与泛化差距联系起来,我们表明:i)使用锐度感知最小化(SAM)或其自适应版本(ASAM)在本地训练客户端,ii)在服务器端平均随机权重(SWA)可以大大提高联邦学习中的泛化能力,并有助于弥合与集中式模型的差距。通过在具有均匀低损失的邻域中寻找参数,该模型收敛于更平坦的最小值,并且其泛化能力在同质和异质场景中都有显着提高。实证结果表明,这些优化器在各种基准视觉数据集(例如CIFAR 10/100,Landmarks-User-160 k,IDDA)和任务(大规模分类,语义分割,领域泛化)上的有效性。
2022-07-21 cs.CV cs.LG
LiD-FL: Towards List-Decodable Federated Learning
College of Computer Science, Sichuan University(四川大学计算机学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);School of Statistics and Data Science, Nankai University(南开大学统计与数据科学学院)
本文提出列表可解码联邦学习框架,允许服务器维护模型列表,在恶意参与者过半时仍保证至少一个模型性能良好,并证明收敛性及实验验证其抗攻击能力。
2025-02-27 cs.LG
DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime
Pennsylvania State University(宾夕法尼亚州立大学)
提出DualFL算法解决联邦学习分布式优化问题,通过基于对偶的方法实现一般凸成本函数的通信加速,并提供了简洁优雅的收敛分析。
2024-01-10 cs.LG math.OC
Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective
Stanford University(斯坦福大学)
Federated Averaging(FedAvg),也称为Local SGD,是联邦学习(FL)中最流行的算法之一。尽管FedAvg简单且流行,但它的收敛速度至今尚未确定。即使在最简单的假设下(凸、光滑、齐次和有界协方差),最著名的上界和下界也不匹配,并且不清楚现有的分析是否捕获了算法的能力。在这项工作中,我们首先解决这个问题,通过提供一个下限FedAvg匹配现有的上限,这表明现有的FedAvg上限分析是不可改进的。此外,我们建立了一个在异构环境中的下限,几乎匹配现有的上限。虽然我们的下界显示了FedAvg的局限性,但在三阶平滑的额外假设下,我们证明了在凸和非凸设置中更乐观的最先进的收敛结果。我们的分析源于一个我们称之为“随机偏差”的概念,它是由SGD轨迹的期望值与具有相同初始化的无噪声梯度下降轨迹的偏差定义的。我们证明了这个量的新的尖锐界限,并直观地展示了如何从随机微分方程(SDD)的角度来分析这个量。
2022-02-11 cs.DC cs.LG math.OC
Federated Crowdsensing: Framework and Challenges
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Shanghai University of Finance and Economics(上海财经大学)
Crowdsensing是智能城市应用的有前途的感测范例(例如,交通和环境监测),智能移动设备和先进的网络基础设施的普及。同时,由于任务是由个体来完成的,因此隐私保护是群体感知系统的关键问题之一。传统上,为了减轻用户的隐私担忧,噪声被添加到参与者的敏感数据(例如,参与者的位置)通过诸如差分隐私的技术。然而,这不可避免地导致对众测任务的质量损失。最近,联邦学习范式被提出,其目的是在机器学习中实现隐私保护,同时确保学习质量受到很小或没有损失。受联邦学习范式的启发,本文研究了联邦学习如何使众测应用受益。特别是,我们首先提出了一个联邦众测框架,它分析了每个众测阶段的隐私问题(即,任务创建、任务分配、任务执行和数据聚合),并讨论联邦学习技术如何生效。最后,我们总结了联邦众测的主要挑战和机遇。
2020-11-06 cs.CR cs.DC cs.LG
Federated Asymptotics: a model to compare federated learning algorithms
Stanford University(斯坦福大学)
我们提出了一个渐进的框架来分析(个性化)联邦学习算法的性能。在这个新的框架中,我们将联邦学习制定为多标准目标,其目标是使用来自所有客户端的信息最小化每个客户端的损失。我们分析一个线性回归模型,对于一个给定的客户端,我们可以在理论上比较各种算法在高维渐近极限的性能。这种渐进多准则方法自然地模拟了联邦学习的高维、多设备性质。这些工具对联邦场景中个性化和信息共享的好处做出了相当精确的预测-至少在我们的(程式化)模型中-包括具有简单客户端微调的联邦平均实现了与更复杂的元学习和近似正则化方法相同的渐近风险,并且优于没有个性化的联邦平均。我们在EMNIST、CIFAR-100、Shakespeare和Stack Overflow数据集的联邦版本上评估了这些预测,实验证实了理论预测,表明这些框架可能为实际算法开发提供有用的指导。
2022-02-18 cs.DC cs.LG math.OC
PBM-VFL: Vertical Federated Learning with Feature and Sample Privacy
Rensselaer Polytechnic Institute(拉特格尔理工学院)
本文提出PBM-VFL算法,结合安全多方计算与泊松二项机制实现具备差分隐私保证的纵向联邦学习,首次从理论上刻画隐私预算、收敛误差与通信成本间的关系,并在高隐私水平下保持良好性能。
2025-07-16 cs.LG
Second-Order Guarantees in Federated Learning
School of Engineering, \' E cole Polytechnique F\' e d\' e rale de Lausanne
联邦学习是一个有用的框架,用于在考虑异构性、保密性和隐私性的实际情况下从分布式数据进行集中式学习。联邦架构经常部署在深度学习环境中,这通常会引起非凸优化问题。然而,大多数现有的分析要么局限于凸损失函数,要么只建立一阶平稳性,尽管已知一阶平稳的鞍点在深度学习中构成瓶颈。我们利用最近的结果在集中和分散设置的随机梯度算法的二阶最优性,并建立二阶保证一类联邦学习算法。
2020-12-02 cs.LG cs.MA eess.SP
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape
The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
本文提出联邦学习算法 FedSMOO,通过动态正则化器与全局锐度感知最小化相结合,在优化一致性和泛化平坦性之间取得平衡,实现快速收敛和低泛化误差。
2024-04-01 cs.DC cs.LG math.OC