Federated Learning with Fair Averaging
Xiamen University(厦门大学);University of Melbourne(墨尔本大学)
公平性已成为联邦学习(FL)中的一个关键问题。在这项工作中,我们确定了FL不公平的原因-冲突的梯度与幅度的巨大差异。为了解决这个问题,我们提出了联邦公平平均(FedFV)算法,以减轻客户端之间的潜在冲突之前,平均其梯度。我们首先使用余弦相似度来检测梯度冲突,然后通过修改梯度的方向和幅度来迭代地消除这种冲突。我们进一步展示了FedFV的理论基础,以减轻冲突的梯度问题,并收敛到帕累托平稳的解决方案。在一组联邦数据集上进行的大量实验证实,FedFV在公平性、准确性和效率方面优于最先进的方法。源代码可在https://github.com/WwZzz/easyFL上获得。
2021-06-16 cs.LG
Federated Learning in Temporal Heterogeneity
Georgia Institute of Technology(佐治亚理工学院)
本文研究联邦学习中客户端间的时间异质性,发现固定长度序列训练的FedAvg收敛更快,并提出缓解时间异质性以提升联邦学习效率的方法。
2023-09-17 cs.LG
Federated Learning Forecasting for Strengthening Grid Reliability and Enabling Markets for Resilience
ITI/LARSyS, IST(ITI/LARSyS、里斯本高等技术学院);MIT(麻省理工学院);UFJF(若昂·丰塞卡联邦大学);INESC-ID, IST(INESC-ID、里斯本高等技术学院)
提出结合联邦学习攻击检测与本地电力市场缓解的综合方案,在真实太阳能光伏配电网中验证,能有效提升电网可靠性与韧性并缓解网络物理攻击影响。
2024-07-16 cs.LG cs.SY eess.SY
Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning
University of Michigan(密歇根大学);Cornell University(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
研究针对联邦学习中异构客户端使LoRA聚合不稳定的问题,提出动态子空间增强方法Dysco,通过联邦动态分配特定客户端LoRA子空间,经实验验证其能减少干扰、降低训练损失、提升算法性能且开销小。
2026-07-17 cs.LG
Pelta: Shielding Transformers to Mitigate Evasion Attacks in Federated Learning
University of Neuchâtel(纳沙泰尔大学);University of Rennes 1(雷恩第一大学);Inria(法国国家信息与自动化研究所);IRISA(法国信息与自动化研究所雷恩分所)
本文提出Pelta,利用可信执行环境屏蔽Transformer反向传播部分链式法则,以防御联邦学习中的恶意对抗样本探测,并在集成模型上验证了其对自注意力梯度攻击的有效性。
2023-08-08 cs.CR cs.CV cs.LG
Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文研究联邦学习中存在对抗性客户端时的个性化策略,通过理论分析刻画完全协作失效的条件,并给出依据数据异质性和对抗客户端比例调整协作水平的准则,实验验证了微调个性化的有效性。
2024-09-30 cs.CR cs.LG
Performance Weighting for Robust Federated Learning Against Corrupted Sources
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
联邦学习已经成为分布式机器学习的主要计算范例。其独特的数据隐私属性使我们能够协同训练模型,同时为参与客户提供某些隐私保护保证。然而,在实际应用中,联邦环境可能由善意和恶意客户端组成,后者的目的是破坏和降低联邦模型的性能。可以应用不同的损坏方案,例如模型中毒和数据损坏。在这里,我们关注后者,即联邦学习对各种数据破坏攻击的敏感性。我们发现,标准的全球聚合计划的本地权重是低效的,在存在损坏的客户端。为了缓解这个问题,我们提出了一类面向任务的基于性能的方法计算的分布式验证数据集的目标是检测和减轻损坏的客户端。具体来说,我们构建了一个强大的重量聚合计划的基础上几何平均值,并证明其有效性下的随机标签洗牌和有针对性的标签翻转攻击。
2022-05-02 cs.CR cs.LG
FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting
Department of Electrical Engineering and Computer Science, University of Stavanger(电气工程与计算机科学系,斯塔万格大学);Department of Computer Convergence Software, Korea University(计算机融合软件系,韩国大学)
FedShift通过权重迁移机制,在混合精度环境下提升联邦学习的鲁棒性和收敛性。
2025-02-18 cs.LG
Effective Unbounded Drift Control in Heterogeneous Federated Learning: Bayesian Fine-Tuning Using a Reference Model
School of Computer Science and Engineering(计算机科学与工程学院);Center for Biosystems and Biotech Data Science(生物系统与生物技术数据科学中心);Ghent University Global Campus, Incheon, Republic of Korea(因斯布鲁克大学全球校区,韩国)
FedRef通过在服务器端进行贝叶斯微调,利用参考模型缓解异构联邦学习中的灾难性遗忘问题,提升模型稳定性和收敛速度,降低客户端计算开销。
2026-11-07 cs.AI cs.DC cs.LG
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
针对联邦学习中的数据异构瓶颈,本文提出FedCOG,通过全局模型生成互补数据并进行知识蒸馏训练,可即插即用地增强现有方法且兼容标准协议。
2023-12-10 cs.CV cs.LG
FedSR: A Semi-Decentralized Federated Learning Algorithm for Non-IIDness in IoT System
本文提出一种半去中心化的云-边-端分层联邦学习框架FedSR,结合环形集群内的增量次梯度优化算法,有效缓解了物联网系统中数据异构性对模型性能的影响及云服务器的通信瓶颈。
2024-03-19 cs.DC cs.LG
Robust Federated Learning Mitigates Client-side Training Data Distribution Inference Attacks
University of Science and Technology of China(中国科学技术大学);Duke University(杜克大学)
针对联邦学习中恶意客户端推理并重建受害者训练数据分布的威胁,本文提出拜占庭鲁棒聚合规则 InferGuard,通过逐坐标中位数识别异常模型更新,并在五个数据集和十种基线对比中验证其优于现有防御。
2024-04-04 cs.CR cs.DC cs.LG
Backdoor Attacks in Peer-to-Peer Federated Learning
Northeastern University(东北大学);Khoury College of Computer Sciences(科里计算机科学学院)
针对对等网络联邦学习(P2PFL)的投毒攻击抵御能力未被研究的问题,提出利用图结构选恶意节点的高隐蔽性后门攻击,验证其在多种真实场景下的有效性,并设计出不影响模型准确率的新型防御方案。
2024-09-17 cs.CR cs.LG
A Vertical Federated Learning Framework for Horizontally Partitioned Labels
Peking University(北京大学);Michigan Technological University(密歇根理工大学)
垂直联邦学习是一种协作机器学习框架,用于在具有隐私保护的垂直分区数据上训练深度学习模型。它引起了学术界和工业界的广泛关注。不幸的是,将大多数现有的垂直联邦学习方法应用于现实世界的应用程序仍然面临着两个艰巨的挑战。首先,大多数现有的垂直联邦学习方法都有一个很强的假设,即至少有一方持有所有数据样本的完整标签集,而这个假设在许多实际场景中并不满足,其中标签是水平划分的,各方只持有部分标签。现有的垂直联邦学习方法只能利用部分标签,这可能会导致端到端反向传播模型更新不足。第二,计算和通信资源因各方而异。一些计算和通信资源有限的参与方将成为落伍者,并减缓训练的收敛。在垂直联邦学习中水平分区标签的场景中,这种掉队者问题会被夸大。为了解决这些问题,我们提出了一种新的垂直联邦学习框架级联垂直联邦学习(CVFL),充分利用所有水平分区的标签训练神经网络与隐私保护。为了减轻离散问题,我们设计了一个新的优化目标,可以增加离散的贡献训练模型。我们进行了一系列的定性实验,严格验证CVFL的有效性。结果表明,CVFL可以实现相当的性能(例如,分类任务的准确性)。与只使用异步聚合机制相比,新的优化目标可以进一步缓解训练过程中的掉队问题。
2021-06-18 cs.LG stat.ML
FedEM: A Privacy-Preserving Framework for Concurrent Utility Preservation in Federated Learning
本文提出FedEM算法,通过自适应噪声注入引入受控扰动,在联邦学习中有效缓解梯度泄露攻击,同时保持模型精度,实现隐私保护与效用保留的稳健平衡。
2025-03-08 cs.LG
RoFL: Robustness of Secure Federated Learning
ETH Zurich(苏黎世联邦理工学院)
尽管近年来已经看到许多攻击暴露了联邦学习(FL)中的严重漏洞,但仍然缺乏对这些攻击的原因以及如何有效缓解这些攻击的全面理解。在这项工作中,我们揭开了现有(有针对性的)攻击的内部运作。我们提供了新的见解,为什么这些攻击是可能的,为什么一个明确的解决方案,FL的鲁棒性是具有挑战性的。我们表明,需要ML算法记住尾部数据有显着的影响FL的完整性。这种现象在很大程度上是在隐私的背景下研究的;我们的分析揭示了它对ML完整性的影响。我们表明,某些类别的严重攻击可以有效地减轻强制执行的约束,如客户端的更新范数界。我们研究如何有效地将这些限制到安全FL协议中的单服务器设置。在此基础上,我们提出了RoFL,一个新的安全FL系统,扩展了隐私保护输入验证的安全聚合。具体而言,RoFL可以对高维加密模型更新实施诸如$L_2$和$L_\infty$边界之类的约束。
2023-01-26 cs.CR cs.LG
SDFed: Bridging Local Global Discrepancy via Subspace Refinement and Divergence Control in Federated Prompt Learning
SDFed提出一种异构联邦提示学习框架,通过子空间细化和发散控制弥合局部全局差异,解决客户端异质性带来的冲突问题,提升性能和鲁棒性。
2026-04-14 cs.DB cs.LG
Towards Communication-efficient and Attack-Resistant Federated Edge Learning for Industrial Internet of Things
Heilongjiang University(黑龙江大学);Tencent Jarvis Lab(腾讯 Jarvis 实验室);Nanyang Technological University(南洋理工大学);Lakehead University(湖首大学)
联邦边缘学习(Federated Edge Learning,FEL)允许边缘节点协同训练全局深度学习模型,用于工业物联网(IIoT)中的边缘计算,显著推动工业4.0的发展。然而,FEL面临两个关键挑战:通信开销和数据隐私。FEL在训练大规模多节点模型时会产生昂贵的通信开销。此外,由于自由电子激光的梯度泄漏和标签翻转攻击的脆弱性,全局模型的训练过程很容易受到对手的破坏。为了应对这些挑战,我们提出了一个用于IIoT边缘计算的通信高效和隐私增强的异步FEL框架。首先,我们引入了一个异步的模型更新方案,以减少计算时间,边缘节点等待全局模型聚合。其次,我们提出了一个异步的本地差分隐私机制,提高了通信效率,并减轻梯度泄漏攻击,通过添加精心设计的噪声边缘节点的梯度。第三,设计了云端恶意节点检测机制,通过检测本地模型质量来检测恶意节点。这种机制可以避免恶意节点参与训练,以减轻标签翻转攻击。在两个真实数据集上进行的大量实验研究表明,该框架不仅可以提高通信效率,而且可以减少恶意攻击,同时其准确性与传统的FEL框架相当。
2020-12-08 cs.CR cs.DC cs.LG
Flashback: Understanding and Mitigating Forgetting in Federated Learning
KAUST(阿卜杜拉国王科技大学);Queen Mary University of London(伦敦大学玛丽皇后学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对联邦学习中的数据异构性导致遗忘、阻碍收敛的问题,提出Flashback算法,通过动态蒸馏正则化本地模型并有效聚合知识,在多个基准上优于其他方法,6至16轮内收敛。
2024-02-08 cs.AI cs.CV cs.DC
FedSM: Robust Semantics-Guided Feature Mixup for Bias Reduction in Federated Learning with Long-Tail Data
FedSM通过语义引导的特征混合和轻量级分类器重训练,有效减少联邦学习中长尾数据的偏见问题。
2025-10-31 cs.LG
FedOAED: Federated On-Device Autoencoder Denoiser for Heterogeneous Data under Limited Client Availability
School of Computing(计算学院);Mathematical Sciences, University of Leicester, UK(利兹大学数学科学系);School of Computing, University of Edinburgh, UK(爱丁堡大学计算学院);Department of Computer Science, University of Exeter, UK(埃克塞特大学计算机科学系)
FedOAED是一种针对有限客户端可用性下异构数据的联邦学习算法,通过设备端自编码去噪器减少客户端漂移和方差,提升模型性能。
2025-12-19 cs.LG
FedGS: Federated Graph-based Sampling with Arbitrary Client Availability
Fujian Key Laboratory of Sensing and Computing for Smart Cities, School of Informatics, Xiamen University(厦门大学信息学院福建省智慧城市感知与计算重点实验室);School of Computing and Information Systems, University of Melbourne(墨尔本大学计算与信息系统学院)
虽然联邦学习在优化机器学习模型而无需直接存取原始数据方面表现出了很好的效果,但其性能可能会受到间歇性客户端可用性的阻碍,这会减慢收敛速度并使最终学习模型产生偏差。在任意客户端可用性下实现稳定和无偏差的培训存在重大挑战。为了解决这些挑战,我们提出了一个名为Federated Graph-based Sampling(FedGS)的框架,以稳定全局模型更新并同时减轻任意客户端可用性的长期偏差。首先,我们使用数据分布依赖图(3DG)对客户端的数据相关性进行建模,该图有助于将采样的客户端数据彼此分开,这在理论上可以提高最佳模型更新的近似值。其次,受样本客户数据分布距离较远的约束,进一步最小化样本客户被抽样次数的方差,以减小长期偏差。为了验证FedGS的有效性,我们在七种客户端可用性模式下对三个数据集进行了实验。我们的实验结果证实了FedGS的优势,使一个公平的客户端采样方案,并提高模型的性能在任意客户端的可用性。我们的代码可在\url{https://github.com/WwZzz/FedGS}上获得。
2022-12-07 cs.LG
FL-WBC: Enhancing Robustness against Model Poisoning Attacks in Federated Learning from a Client Perspective
Duke University(杜克大学);Accenture(埃森哲)
联邦学习(FL)是一种流行的分布式学习框架,它通过中央服务器和边缘设备之间的迭代通信来训练全局模型。最近的工作表明,FL是容易受到模型中毒攻击。已经提出了几种基于服务器的防御方法(例如鲁棒聚合)来减轻此类攻击。然而,我们的经验表明,在非常强大的攻击下,这些防御方法无法保证FL的鲁棒性。更重要的是,我们观察到,只要全局模型被污染,即使没有后续的攻击,攻击对全局模型的影响也会保留在后续的轮次中。在这项工作中,我们提出了一个基于客户端的防御,命名为白血球联邦学习(FL-WBC),它可以减轻模型中毒攻击,已经污染了全局模型。FL-WBC的核心思想是识别对参数的长期攻击影响所在的参数空间,并在局部训练期间扰动该空间。此外,我们得到了一个认证的鲁棒性保证,对模型中毒攻击和收敛保证FedAvg后,应用我们的FL-WBC。我们在FasionMNIST和CIFAR10上进行实验,以评估对最先进的模型中毒攻击的防御。实验结果表明,该方法在5轮通信时间内有效地缓解了模型中毒攻击对全局模型的影响,且在IID和Non-IID设置下几乎没有精度下降.我们的防御也是对现有的基于服务器的鲁棒聚合方法的补充,可以进一步提高FL在极强攻击下的鲁棒性。
2021-10-26 cs.AI cs.CV cs.DC
Mitigating Data Heterogeneity in Federated Learning with Data Augmentation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Waterloo(滑铁卢大学)
联邦学习(FL)是一个突出的框架,它可以训练一个集中式模型,同时通过融合本地的分散式模型来保护用户隐私。在这种情况下,一个主要障碍是数据异构性,即,每个客户端具有不相同且独立分布的(非IID)数据。这类似于领域泛化(DG)的上下文,其中每个客户端可以被视为不同的域。然而,虽然DG中的许多方法从算法的角度来处理数据异构性,但最近的证据表明,数据增强可以产生相等或更高的性能。出于这种连接,我们提出了联邦版本的流行DG算法,并表明,通过应用适当的数据增强,我们可以减轻数据异构性的联邦设置,并获得更高的准确性看不见的客户端。配备了数据增强,我们可以实现最先进的性能,即使是最基本的联邦平均算法,更稀疏的通信。
2022-06-20 cs.LG
Make Landscape Flatter in Differentially Private Federated Learning
Tsinghua University(清华大学);Nanjing University of Science and Technology(南京理工大学);JD Explore Academy(京东探索研究院)
针对差分隐私联邦学习中损失景观尖锐和性能下降的问题,提出DP-FedSAM算法,通过集成SAM优化器生成平坦的本地模型,提升权重扰动鲁棒性并减小更新范数,理论分析与实验均证明其达到了SOTA性能。
2023-06-26 cs.CR cs.CV cs.LG
Federated Learning with Noisy User Feedback
Amazon(亚马逊)
机器学习(ML)系统越来越受欢迎,并在我们的日常生活中推动越来越多的应用和服务。这导致了对用户隐私的日益关注,因为人类交互数据通常需要被传输到云,以便训练和改进这样的系统。联邦学习(FL)最近已经成为一种使用敏感的用户数据在边缘设备上训练ML模型的方法,并被视为减轻对数据隐私的担忧的一种方法。然而,由于ML模型最常使用标签监督进行训练,因此我们需要一种方法来提取边缘上的标签以使FL可行。在这项工作中,我们提出了一种策略,用于训练FL模型使用积极和消极的用户反馈。我们还设计了一个新的框架来研究用户反馈中的不同噪声模式,并探索在联邦环境中训练模型时,标准噪声鲁棒目标如何帮助减轻这种噪声。我们通过对两个文本分类数据集的详细实验来评估我们提出的训练设置,并分析不同级别的用户可靠性和反馈噪声对模型性能的影响。我们表明,我们的方法在自我训练基线上有了大幅改进,实现了更接近于在完全监督下训练的模型的性能。
2022-05-06 cs.CL cs.HC cs.LG
FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning
University of Zurich(苏黎世大学);armasuisse Science & Technology(Armasuisse科学与技术局)
本文针对去中心化联邦学习中的 non-IID 数据与客户端漂移问题,提出 FedEP,利用 GMM 与熵池机制融合本地及邻域分布信息以计算聚合权重,在保护隐私、降低通信开销的同时提升收敛速度和性能。
2025-01-06 cs.LG
FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning
Shanghai Jiao Tong University(上海交通大学);Meta Platforms(元平台公司);Shanghai AI Laboratory(上海人工智能实验室);Weizmann Institute of Science(魏茨曼科学研究所)
联邦学习(FL)的关键挑战之一是跨客户端的本地数据分布异构性,这可能导致跨客户端的特征空间不一致。为了解决这个问题,我们提出了一种新的方法FedFM,它引导每个客户端的功能,以匹配共享的类别明智的锚(特征空间中的地标)。该方法试图通过对齐每个客户端的特征空间来减轻FL中数据异构性的负面影响。此外,我们解决了变化的目标函数的挑战,并提供收敛保证FedFM。在FedFM中,为了减轻类别间特征空间重叠的现象,提高特征匹配的有效性,我们进一步提出了一种更精确和有效的特征匹配损失,称为对比引导(CG),它引导每个局部特征与相应的锚点匹配,同时远离非对应的锚点。此外,为了实现更高的效率和灵活性,我们提出了一个FedFM变体,称为FedFM-Lite,其中客户端与服务器进行通信,同步时间和通信带宽成本更少。通过大量的实验,我们证明,与CG的FedFM优于几个作品的定量和定性比较。FedFM-Lite可以实现比最先进的方法更好的性能,并且通信成本降低五到十倍。
2022-10-14 cs.LG
FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning
Fudan University(复旦大学);ETH Zurich(苏黎世联邦理工学院);Edith Cowan University(埃迪斯科文大学);Singapore University of Technology and Design(新加坡科技设计大学)
FedVSSAM通过引入方差抑制的sharpness-aware最小化方法,缓解联邦学习中由于数据异质性和友好对抗现象导致的flatness不兼容性,提升全局模型的泛化能力。
2026-05-09 cs.LG
FLOSS: Federated Learning with Opt-Out and Straggler Support
Williams College, USA(威廉姆斯学院,美国)
本文提出FLOSS系统,解决联邦学习中因用户退出和延迟者导致的数据缺失问题,通过模拟验证其性能。
2026-04-21 cs.AI cs.LG
Invariant Aggregator for Defending against Federated Backdoor Attacks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Azure Research(微软Azure研究院)
针对联邦学习中后门攻击防御难的问题,本文分析现有防御在平坦损失景观下的失效模式,提出不变聚合器,通过选择性掩蔽更新元素重定向聚合方向,可证缓解后门攻击,且模型实用性损失极小。
2024-03-08 cs.CR cs.LG
A Privacy-Preserving Framework for Advertising Personalization Incorporating Federated Learning and Differential Privacy
Rutgers University(罗格斯大学);Duke University(杜克大学);University of California, Irvine(加州大学欧文分校)
本文提出融合联邦学习与差分隐私的广告个性化框架,通过分布式特征提取、动态隐私预算分配与鲁棒聚合等技术,在保障隐私的同时实现了推荐准确率与系统效率的双重优化。
2025-07-16 cs.CR cs.LG
SparseFed: Mitigating Model Poisoning Attacks in Federated Learning with Sparsification
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学);IBM
联邦学习本质上容易受到模型中毒攻击,因为其分散的性质允许攻击者参与受损设备。在模型中毒攻击中,攻击者通过上传“中毒”更新来降低模型在目标子任务(例如将飞机分类为鸟类)上的性能。在这份报告中,我们介绍了\algoname{},一种新的防御,使用全局top-k更新稀疏化和设备级梯度裁剪,以减轻模型中毒攻击。我们提出了一个理论框架分析的鲁棒性防御中毒攻击,并提供我们的算法的鲁棒性和收敛性分析。为了验证其经验有效性,我们对计算机视觉和联邦学习的多个基准数据集进行了大规模的开源评估。
2021-12-12 cs.AI cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
FedCross: Intertemporal Federated Learning Under Evolutionary Games
Wuhan University of Science and Technology(武汉科技大学);Dalian University of Technology(大连理工大学);Ministry of Education(教育部);Zhejiang Normal University(浙江师范大学)
针对动态移动网络中用户频繁迁移导致的高通信开销问题,提出跨期激励框架FedCross,通过多目标迁移算法、演化博弈预测和采购拍卖机制,确保联邦学习任务连续性并显著降低通信开销。
2024-12-22 cs.DC cs.GT cs.LG
Uncovering Attacks and Defenses in Secure Aggregation for Federated Deep Learning
Purdue University(普渡大学);University of South Florida(南佛罗里达大学)
本文发现MicroSecAgg安全聚合协议存在可预测掩码值导致用户隐私泄露的安全缺陷,并提出动态不可预测掩码等防御对策。
2024-10-17 cs.CR cs.LG
An Efficient Subspace Algorithm for Federated Learning on Heterogeneous Data
Great Bay University(大湾大学);Peking University(北京大学)
针对联邦学习在大规模深度神经网络应用中存在的客户端漂移及高通信、计算、内存成本问题,提出高效子空间算法FedSub,通过子空间投影和低维对偶变量解决问题,经收敛分析和实验验证了其高效性。
2026-09-29 cs.DC cs.LG
FedRN: Exploiting k-Reliable Neighbors Towards Robust Federated Learning
KAIST(韩国科学技术院);NAVER Shopping(NAVER购物);POSTECH(浦项科技大学);NAVER Corp.(NAVER公司)
健壮性正在成为联邦学习的另一个重要挑战,因为每个客户端中的数据汇集过程自然伴随着嘈杂的标签。然而,由于客户端的数据异质性和噪音程度不同,这更加复杂和具有挑战性,加剧了客户端与客户端之间的性能差异。在这项工作中,我们提出了一个强大的联邦学习方法称为FedRN,它利用k-可靠的邻居与高数据专业知识或相似性。我们的方法通过仅使用一组选定的干净示例进行训练,帮助缩小低性能和高性能客户端之间的差距,这些示例由其集成的混合模型识别。我们通过对三个真实世界或合成基准数据集的广泛评估证明了FedRN的优越性。与现有的鲁棒训练方法相比,实验结果表明,FedRN显著提高了噪声标签存在时的测试准确率。
2022-09-19 cs.LG
RobustFed: A Truth Inference Approach for Robust Federated Learning
Emory University(埃默里大学)
联邦学习是一个突出的框架,它使客户端(例如,移动设备或组织)来在中央服务器的编排下训练协作的全局模型,同时保持本地训练数据集的隐私。然而,联邦学习中的聚合步骤容易受到对抗攻击,因为中央服务器无法管理客户端的行为。因此,全局模型的性能和训练过程的收敛性将受到影响,在这种攻击下,为了减轻这个脆弱性问题,我们提出了一种新的鲁棒聚合算法的启发,在众包的真理推理方法,通过将工人的可靠性到聚合。我们评估我们的解决方案在三个现实世界的数据集与各种机器学习模型。实验结果表明,我们的解决方案确保了强大的联邦学习,是弹性的各种类型的攻击,包括噪声数据攻击,拜占庭攻击,标签翻转攻击。
2021-07-18 cs.AI cs.DC cs.LG
Concept Drift Detection in Federated Networked Systems
Western University(韦仕敦大学)
随着下一代网络的实现,对智能水平的要求越来越高。联邦学习已被确定为智能和分布式网络的关键使能技术;然而,与任何机器学习应用一样,它容易出现概念漂移。考虑到现代网络提供的关键和紧急服务,概念漂移直接影响模型的性能,并可能导致严重的后果。为了减轻漂移的不利影响,本文提出了一个概念漂移检测系统,利用联邦训练过程的每次迭代提供的联邦学习更新。使用降维和聚类技术,隔离系统的漂移节点的框架,通过实验,使用智能交通系统作为用例。所提出的工作表明,所提出的框架是能够检测漂移节点在各种非iid的情况下,在不同阶段的漂移和不同级别的系统曝光。
2021-09-13 cs.LG cs.NI
A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning
McGill University(麦吉尔大学);Mila-Quebec AI Institute(魁北克AI研究院);The University of Adelaide(阿德莱德大学);University of Southern Queensland(南方昆士兰大学);Deakin University(德肯大学);Monash University(墨尔本大学)
本文提出FedHydra,一种统一的无数据一次性联邦学习框架,通过两阶段学习机制中的模型分层与异质性感知分层聚合,同时缓解模型异质性和数据异质性问题,并在多个基准数据集上优于现有方法。
2025-06-01 cs.DC cs.LG
Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data
Key Laboratory of Collaborative Intelligence Systems of Ministry of Education, Xidian University(西安电子科技大学教育部协同智能系统重点实验室);Centre for Frontier AI Research, Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所前沿人工智能研究中心);State Key Laboratory of ISN, School of Cyber Engineering, Xidian University(西安电子科技大学网络与信息安全学院综合业务网理论及关键技术国家重点实验室);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Department of Computing Technologies, Swinburne University of Technology(斯威本科技大学计算技术系)
本文提出FedRCO,一种新型二阶优化框架,旨在提升联邦学习系统在统计异质性下的收敛速度和通信效率。通过高效近似曲率优化器与可证明的稳定性机制,FedRCO有效缓解不稳定性,提升鲁棒性。
2026-03-30 cs.LG
Modeling Global Distribution for Federated Learning with Label Distribution Skew
Central South University(中南大学);University of South Florida(南佛罗里达大学)
联邦学习通过连接分散的数据源实现深度模型的联合训练,可以显著降低隐私泄露的风险。然而,在更一般的情况下,标签在客户端之间的分布是不同的,称为“标签分布偏斜”。直接应用传统的联邦学习而不考虑标签分布偏斜问题会严重损害全局模型的性能。为此,我们提出了一种新的联邦学习方法,名为FedMGD,以减轻标签分布偏斜问题所造成的性能下降。它引入了一个全局生成对抗网络来对全局数据分布进行建模,而不需要访问局部数据集,因此全局模型可以使用数据分布的全局信息进行训练,而不会泄露隐私。实验结果表明,我们提出的方法显着优于国家的最先进的几个公共基准。代码可在\url{https://github.com/Sheng-T/FedMGD}上获得。
2022-12-17 cs.CV cs.LG
Towards Straggler-Resilient Split Federated Learning: An Unbalanced Update Approach
Rochester Institute of Technology(罗切斯特理工学院);Purdue University(普渡大学)
针对分割联邦学习中的掉队者问题,提出MU-SplitFed算法,通过不平衡更新机制解耦训练进度与延迟,实现非凸目标下的线性加速,实验验证其有效性。
2025-10-24 cs.AI cs.DC cs.LG
Group Personalized Federated Learning
Meta AI
联邦学习(FL)可以通过在客户端的物理设备上以分散的方式训练共享模型来帮助促进数据隐私。在存在高度异构分布的本地数据,个性化FL策略旨在减轻潜在的客户端漂移。在本文中,我们提出了组个性化的方法,FL的应用程序中存在的客户端之间的固有分区是显着不同的。在我们的方法中,全局FL模型通过每个同质客户群的另一个FL训练过程进行微调,之后每个特定于组的FL模型进一步适应和个性化任何客户端。所提出的方法可以很好地解释从贝叶斯层次建模的角度。通过在两个真实数据集上的实验,我们证明了这种方法可以实现比其他FL同行更好的个性化性能。
2022-10-11 cs.LG stat.ML
Latent Information Sharing for Accelerating Federated Learning
Inha University(仁荷大学);University of Toronto(多伦多大学);University of Birmingham(伯明翰大学)
本文提出一种潜在信息共享方案,通过共享少量隐藏层激活值缓解客户端漂移,在保持收敛与隐私的同时提升联邦学习训练效率与精度。
2026-10-02 cs.LG
Random Client Selection on Contrastive Federated Learning for Tabular Data
Department of Computing, The Hong Kong Polytechnic University(计算机学院,香港理工大学)
针对对比联邦学习仍易受梯度攻击的隐私问题,本文通过全面实验分析验证了随机客户端选择作为防御策略的有效性,为构建更安全的协作学习框架提供参考。
2025-05-16 cs.CR cs.DC cs.LG
Client-Side Patching against Backdoor Attacks in Federated Learning
针对联邦学习中的后门攻击,提出结合对抗学习与模型补丁的客户端防御机制,在MNIST和Fashion-MNIST上有效降低后门准确率并保持干净数据准确率,优于现有防御方法。
2024-12-20 cs.AI cs.CR cs.LG
Personalized Federated Learning for Intelligent IoT Applications: A Cloud-Edge based Framework
Sun Yat-sen University(中山大学)
物联网(IoT)已经广泛渗透到现代生活的各个方面,许多智能物联网服务和应用正在涌现。最近,联邦学习被提出来通过利用物联网设备上的大量用户生成的数据样本来训练全球共享模型,同时防止数据泄漏。然而,复杂物联网环境中固有的设备、统计和模型异构性对传统联邦学习提出了巨大挑战,使其不适合直接部署。在本文中,我们提倡在智能物联网应用的云边缘架构中使用个性化的联邦学习框架。为了应对物联网环境中的异构性问题,我们研究了新兴的个性化联邦学习方法,这些方法能够在不同方面减轻异构性造成的负面影响。借助边缘计算的强大功能,还可以实现智能物联网应用中对快速处理能力和低延迟的要求。最后,我们提供了一个基于物联网的人类活动识别的案例研究,以证明个性化联邦学习对智能物联网应用的有效性。
2020-05-02 cs.DC cs.LG cs.NI
Private Federated Learning with Dynamic Power Control via Non-Coherent Over-the-Air Computation
Shandong University(山东大学)
本文提出一种基于非相干空中计算与动态功率控制的联邦学习方案,通过OFDM子载波传输梯度符号并利用能量累积投票,在保护权重隐私的同时提升模型性能并减轻同步误差、信道衰落和噪声影响。
2023-08-05 cs.LG
Federated Learning of Neural ODE Models with Different Iteration Counts
Keio University(庆应义塾大学)
本文提出一种基于神经ODE模型的灵活联邦学习方法,可聚合不同迭代次数或深度的模型,减少通信开销,并在CIFAR-10上相比ResNet降低通信量达92.4%。
2023-09-05 cs.DC cs.LG
Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes
Southeast University(东南大学)
针对动态异构联邦学习中客户端数据异构、内部任务动态变化引发的灾难性遗忘与概念漂移问题,提出含多级正则化的FedMLP框架,通过原型与语义原型及三类正则化保障性能,在多种设置下达SOTA。
2023-12-15 cs.AI cs.LG
Towards Fair Federated Learning with Zero-Shot Data Augmentation
Duke University(杜克大学);Samsung(三星);State University of New York at Buffalo(纽约州立大学布法罗分校)
联邦学习已经成为一种重要的分布式学习范式,其中服务器从许多客户端训练的模型中聚合全局模型,而不能访问客户端数据。虽然人们认识到,客户端本地数据的统计异质性会导致全局模型收敛较慢,但很少有人认识到,它也会导致有偏见的联合全局模型,在客户端之间具有很高的准确性差异。在这项工作中,我们的目标是提供联邦学习计划,提高公平性。为了应对这一挑战,我们提出了一种新的联邦学习系统,该系统在代表性不足的数据上采用zero-shot数据增强,以减轻统计异质性,并鼓励联邦网络中的客户端实现更均匀的准确性性能。我们研究了该方案的两个变体,Fed-ZDAC(在客户端具有zero-shot数据增强的联邦学习)和Fed-ZDAS(在服务器端具有zero-shot数据增强的联邦学习)。一组数据集上的实验结果表明,我们的方法在同时提高测试精度和公平性的有效性。
2021-04-27 cs.CV cs.LG stat.ML
Coded Federated Learning
Qualcomm Inc.(高通公司);Intel Labs(英特尔实验室)
联邦学习是一种从分布在客户端设备上的分散数据训练全局模型的方法。这里,模型参数由每个客户端设备本地计算并与中央服务器交换,中央服务器聚合用于全局视图的本地模型,而不需要共享训练数据。联邦学习的收敛性能在异构计算平台中受到严重影响,例如无线边缘的计算平台,其中离散的计算和通信链路可以显著限制及时的模型参数更新。本文提出了一种新的编码计算技术的联邦学习,以减轻落后者的影响。在所提出的编码联邦学习(CFL)方案中,每个客户端设备私下生成奇偶校验训练数据,并且仅在训练阶段开始时与中央服务器共享一次。然后,中央服务器可以对复合奇偶校验数据抢先执行冗余梯度计算,以补偿被擦除或延迟的参数更新。我们的研究结果表明,CFL允许全局模型收敛速度比未编码的方法快近四倍
2020-12-22 cs.LG stat.ML