FedGiA: An Efficient Hybrid Algorithm for Federated Learning
Imperial College London(帝国理工学院);Beijing Jiaotong University(北京交通大学)
针对联邦学习中的通信与计算效率及收敛性问题,提出结合梯度下降与不精确交替方向乘子法的混合算法FedGiA,在理论和数值上优于现有方法,并能在温和条件下全局收敛。
2024-04-19 cs.LG math.OC
Effective and Efficient Federated Tree Learning on Hybrid Data
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Together AI;University of Chicago(芝加哥大学);National University of Singapore(新加坡国立大学)
本文提出HybridTree方法,利用树中一致的划分规则将各方知识融入树的较低层,从而在混合数据上实现高效联邦树学习,实验显示其能以低开销达到与集中式相当的准确率并实现高达8倍加速。
2024-04-29 cs.LG
Fedcompass: Federated Clustered and Periodic Aggregation Framework for Hybrid Classical-Quantum Models
1 School of Artificial Intelligence;Computer Science, Jiangnan University 2 Antai College of Economics \& Management, Shanghai Jiao Tong University 3 School of Computer Science, Shanghai Jiao Tong University 4 Cloud Computing;Distributed Systems Laboratory, University of Melbourne
Fedcompass通过谱聚类和自适应优化提升混合经典-量子联邦学习在非IID数据下的准确率与稳定性。
2026-02-03 cs.LG
Federated Dropout Learning for Hybrid Beamforming With Spatial Path Index Modulation In Multi-User mmWave-MIMO Systems
United States CCDC Army Research Laboratory(美国CCDC陆军研究实验室)
具有少量射频(RF)链的毫米波多输入多输出(mmWave-MIMO)系统具有有限的复用增益。空间路径索引调制(SPIM)通过利用由空间路径的索引调制的附加信号比特来帮助改善该增益。在本文中,我们介绍了基于模型和无模型的多用户SPIM-MIMO系统中的波束形成器的设计框架。我们首先通过基于模型的流形优化算法设计波束形成器。然后,我们利用联邦学习(FL)与辍学学习(DL)训练的学习模型的本地数据集的用户,谁估计的波束形成器通过馈送模型与他们的信道数据。DL在训练期间随机选择不同的模型参数集,从而与传统FL相比进一步减少了传输开销。数值实验表明,所提出的框架比最先进的SPIM-MIMO方法和mmWave-MIMO具有更高的频谱效率,后者依赖于最强的传播路径。此外,所提出的FL方法提供比集中式学习技术低至少10倍的传输开销。
2021-02-15 cs.IT cs.LG eess.SP
HybridVFL: Disentangled Feature Learning for Edge-Enabled Vertical Federated Multimodal Classification
University of Hull(赫尔大学)
HybridVFL通过客户端特征解耦与服务器跨模态Transformer融合,提升边缘计算中多模态分类的隐私保护性能。
2025-12-11 cs.LG
Hybrid FedGraph: An efficient hybrid federated learning algorithm using graph convolutional neural network
The Catholic University of Korea(韩国天主教大学);Northwestern University(西北大学)
针对现有联邦学习对更常见的混合数据分布场景研究不足的问题,提出通用算法FedGraph,引入图卷积神经网络捕捉特征共享信息,并设计隐私保护的聚类算法聚合客户端深度特征。
2024-04-15 cs.DC cs.LG
HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
University of Pittsburgh(匹兹堡大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
联邦学习已经成为一种很有前途的协作和隐私保护学习方法。联邦学习过程中的参与者通过交换模型参数而不是实际的训练数据来合作地训练模型,他们可能希望保持私有。然而,参数交互和所得到的模型仍然可能泄露关于所使用的训练数据的信息。为了解决这些隐私问题,已经提出了基于差分隐私和安全多方计算(SMC)等的若干方法。它们通常会导致大量的通信开销和缓慢的训练时间。在本文中,我们提出了HybridAlpha,隐私保护的联邦学习采用基于功能加密的SMC协议的方法。该协议简单,高效,对参与者退出具有弹性。我们评估我们的方法,关于训练时间和数据量交换使用联邦学习过程训练一个CNN的MNIST数据集。对现有基于加密的SMC解决方案的评估表明,HybridAlpha可以将训练时间平均减少68%,数据传输量平均减少92%,同时提供与现有解决方案相同的模型性能和隐私保证。
2019-12-12 cs.CR cs.LG
HyFed: A Hybrid Federated Framework for Privacy-preserving Machine Learning
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);University of Southern Denmark(南丹麦大学);Imperial College London(帝国理工学院)
联邦学习(FL)使多个客户端能够在中央服务器的协调下联合训练全局模型。虽然FL是一个隐私感知的范例,其中原始数据共享是不需要的,最近的研究表明,FL可能会通过与服务器或其他客户端共享的模型参数泄漏客户端的私有数据。在本文中,我们提出了HyFed框架,它增强了隐私的FL,同时保持了全球模型的效用。HyFed为开发人员提供了一个通用的API来开发联邦的隐私保护算法。HyFed支持模拟和联邦操作模式,其源代码可在https://github.com/tum-aimed/hyfed上公开获得。
2021-10-27 cs.CR cs.LG
FedDCL: a federated data collaboration learning as a hybrid-type privacy-preserving framework based on federated learning and data collaboration
University of Tsukuba(筑波大学)
FedDCL将联邦学习与数据协作分析结合,通过机构内构建降维中间表示并在组内DC服务器间进行联邦学习,解决了联邦学习在难以持续对外通信环境中的实施难题,且性能与现有联邦学习相当。
2024-09-27 cs.CR cs.LG
FedNoRo: Towards Noise-Robust Federated Learning by Addressing Class Imbalance and Label Noise Heterogeneity
Huazhong University of Science and Technology(华中科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Hong Kong University of Science and Technology(香港科技大学)
本文针对全局数据类别不平衡且标签噪声异质的现实联邦学习场景,提出两阶段框架FedNoRo,通过逐类损失指标与高斯混合模型识别噪声客户端,并结合知识蒸馏与距离感知聚合更新模型,在ICH和ISIC2019数据集上显著优于现有FNLL方法。
2023-08-01 cs.AI cs.LG
Hybrid Federated Learning: Algorithms and Implementation
University of Minnesota(明尼苏达大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
联邦学习(Federated learning,FL)是最近提出的一种处理分布式和私有数据集的分布式机器学习范例。根据数据分区模式,FL通常分为水平、垂直和混合设置。尽管事实上,许多作品已经开发的前两种方法,混合FL设置(处理部分重叠的特征空间和样本空间)仍然很少探索,虽然这种设置是非常重要的,在实践中。在本文中,我们首先建立了一个新的基于模型匹配的混合FL的问题制定,然后提出了一个有效的算法,可以协同训练的全局和局部模型,以处理完整和部分特征数据。在多视图ModelNet40数据集上进行了数值实验,验证了该算法的有效性.据我们所知,这是第一个配方和算法开发的混合FL。
2021-02-18 cs.DC cs.LG
Fast Heterogeneous Federated Learning with Hybrid Client Selection
Northwestern Polytechnical University(西北工业大学);Alibaba Group(阿里巴巴集团);Monash University(莫纳什大学);The Hong Kong Polytechnic University(香港理工大学)
在联邦学习(FL)的研究中,客户端选择策略被广泛用于解决通信效率问题。然而,从随机选择的非代表性子集聚集的模型更新的大方差直接减慢FL收敛。我们提出了一种新的基于聚类的客户端选择方案,通过降低方差来加速FL收敛。设计了简单有效的方案来提高聚类效果,控制聚类效果的波动,从而生成具有一定代表性的抽样客户子集。理论上,我们证明了该方案在方差减少方面的改进。我们还提出了更严格的收敛保证所提出的方法由于方差减少。实验结果证实了我们的计划相比,替代品的超额效率。
2022-08-16 cs.AI cs.LG
Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning
Jiangnan University(江南大学);University of Surrey(萨里大学)
本文提出混合批归一化(HBN),通过分离统计参数与可学习参数的更新,并引入可学习的混合分布因子自适应融合当前批次与全局统计量,有效解决了联邦学习中非独立同分布数据下标准BN性能下降的问题。
2025-05-28 cs.DC cs.LG
FedEmb: A Vertical and Hybrid Federated Learning Algorithm using Network And Feature Embedding Aggregation
本文提出通用算法FedEmb,用于解决基于DNN的垂直与混合联邦学习问题,相比现有方法提升了推理准确率与隐私保护并降低通信带宽,实验证明其准确率提升0.3%至4.2%且时间复杂度降低88.9%。
2024-01-10 cs.AI cs.LG
A Hybrid Federated Kernel Regularized Least Squares Algorithm
Fondazione Istituto Italiano di Tecnologia(意大利技术研究院基金会)
针对数据在样本和特征上双重分散的混合联邦场景,提出Kernel Regularized Least Squares算法的高效重构与两种变体,经数据集验证并讨论了防御攻击的安全措施。
2024-07-24 cs.LG stat.ML
Federated Learning for Intrusion Detection in IoT Security: A Hybrid Ensemble Approach
IIT Bombay(印度理工学院孟买分校)
物联网(IoT)在智能城市、医疗保健、供应链和交通运输等各个领域的关键作用使其成为恶意攻击的目标。过去在这方面的工作集中在集中式入侵检测系统(IDS),假设存在一个中央实体来执行数据分析和识别威胁。然而,这样的IDS可能并不总是可行的,主要是由于跨多个源的数据传播和在中央节点处的收集可能是昂贵的。此外,早期的工作主要集中在提高真阳性率(TPR),而忽略了假阳性率(FPR),这对于避免系统不必要的停机时间也是至关重要的。在本文中,我们首先提出了一种基于混合集成模型的入侵检测系统架构,命名为PHEC,它提供了改进的性能相比,国家的最先进的架构。然后,我们将此模型调整为联邦学习框架,该框架执行本地训练并仅聚合模型参数。接下来,我们提出了集中式和联邦设置中的噪声容忍PHEC,以解决标签噪声问题。所提出的想法使用分类器,使用加权凸代理损失函数。KNN分类器对噪声数据的自然鲁棒性也用于所提出的架构。在四个来自各种安全攻击的基准数据集上的实验结果表明,我们的模型在噪声和干净数据上保持低FPR的同时实现了高TPR。此外,他们还证明了混合集成模型在联邦设置中的性能接近于集中式设置。
2021-06-25 cs.AI cs.CR cs.LG
HO-SFL: Hybrid-Order Split Federated Learning with Backprop-Free Clients and Dimension-Free Aggregation
Department of Electrical and Computer Engineering, The University of Hong Kong, Hong Kong SAR, China(电子与计算机工程系,香港大学,香港特别行政区,中国)
提出HO-SFL框架,通过拉格朗日框架重构分割学习,服务器执行一阶更新而客户端进行零阶优化,实现无反向传播客户端、维度无关聚合,理论证明收敛速度与一阶方法相当,实验验证通信和内存成本显著降低。
2026-09-29 cs.AI cs.LG
ZK-HybridFL: Zero-Knowledge Proof-Enhanced Hybrid Ledger for Federated Learning
Electrical Engineering Department, Columbia University(哥伦比亚大学电气工程系)
ZK-HybridFL通过整合DAG账本、侧链和零知识证明,实现隐私保护的分布式联邦学习,提升模型训练效率和安全性。
2026-01-29 cs.CR cs.DC cs.LG
A Privacy-Centric Approach: Scalable and Secure Federated Learning Enabled by Hybrid Homomorphic Encryption
Tampere University(塔尔库大学)
本文提出将混合同态加密(HHE)集成到联邦学习中,以同时解决通信开销和数据隐私挑战,从而实现可扩展且安全的去中心化学习系统。
2025-08-07 cs.CR cs.LG
A Fair and Efficient Hybrid Federated Learning Framework based on XGBoost for Distributed Power Prediction
Tsinghua-Berkeley Shenzhen Institute, Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院清华-伯克利深圳学院);Tsinghua University(清华大学)
在现代电力系统中,关于发电/消耗及其相关特征的实时数据存储在各个分布式方中,包括家用电表、Transformer站和外部组织。为了充分利用这些分布式数据的潜在模式进行准确的功率预测,需要联邦学习作为一种协作但保护隐私的训练方案。然而,当前的联邦学习框架倾向于解决数据的水平或垂直分离,并且倾向于忽略两者都存在的情况。此外,在主流的水平联邦学习框架中,仅采用人工神经网络来学习数据模式,与表格数据集上的基于树的模型相比,这被认为是不太准确和可解释的。为此,我们提出了一种基于XGBoost的混合联邦学习框架,用于从实时外部特征进行分布式功率预测。除了引入提升树以提高准确性和可解释性外,我们还结合了水平和垂直联邦学习,以解决特征分散在局部异构方和样本分散在各个局部区域的情况。此外,我们设计了一个动态的任务分配方案,使每一方都能公平地分享信息,并且可以充分利用每一方的计算能力来提高训练效率。一个后续的案例研究,以证明采用拟议的框架的必要性。该框架在公平性、效率和准确性方面的优势也得到了证实。
2022-01-08 cs.AI cs.LG cs.SY
HybridFLow: SDN-Orchestrated Client Partitioning for Hybrid Federated Learning
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Meta Platforms, Inc.(元平台公司);Missouri University of Science and Technology(密苏里科技大学)
HybridFLow利用SDN全局视图为混合联邦学习生成通信时间估计并分区客户端,平衡延迟与陈旧度,实验显示比SmartFLow快33-40%达到目标准确率。
2026-09-10 cs.LG cs.NI
Sporadic Federated Learning Approach in Quantum Environment to Tackle Quantum Noise
Department of Electrical and Computer Engineering, The University of Alabama in Huntsville(电气与计算机工程系,阿拉巴马大学亨茨维尔分校)
本文提出SpoQFL框架,通过偶发学习动态调整训练策略以缓解分布式量子系统中的量子噪声异质性,实验表明其在训练性能和收敛稳定性上显著优于传统QFL方法。
2025-07-15 cs.AI cs.LG quant-ph
HO-FL: Hybrid-Order Federated Learning for Heterogeneous Edge Devices
University of Hong Kong(香港大学);City University of Hong Kong(香港城市大学)
提出HO-FL混合阶联邦学习框架,通过按内存预算划分模型为ZO和FO段,在异构边缘设备上平衡内存与收敛,实现接近全FO性能并降低内存需求。
2026-10-01 cs.AI cs.LG
Federated learning over physical channels: adaptive algorithms with near-optimal guarantees
Department of Electrical Engineering, SUNY University at Buffalo(电气工程系,布法罗大学)
针对联邦学习的通信成本问题,提出可在物理信道实现、兼顾信道噪声与硬件约束的自适应联邦SGD算法,证明其具备自适应于梯度噪声水平的收敛速率,并通过仿真验证了实际有效性。
2025-09-02 cs.IT cs.LG eess.SP
Federated Learning for Global Carbon Emission Forecasting: A Hybrid Time-Series Approach with Statistical and Neural Models
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院);Department of Computer Science, Bahria University(巴里亚大学计算机科学系);School of Mechanical Engineering, Southwest Jiaotong University(西南交通大学机械工程学院)
提出联邦混合预测框架,集成ARIMA、GARCH、LSTM-Attention和XGBoost,在保护隐私下实现分布式碳排放预测,在14个客户上平均R²为0.73。
2026-06-23 cs.AI cs.LG
Hybrid Differentially Private Federated Learning on Vertically Partitioned Data
Tencent Inc.(腾讯公司)
我们提出了HDP-VFL,第一个混合差分私有(DP)框架垂直联邦学习(VFL),以证明它是可能的,共同学习广义线性模型(GLM)从垂直分区的数据,只有一个可以忽略不计的成本,w.r.t.训练时间、准确性等,与理想化的非私有VFL相比。我们的工作建立在不同组织之间基于VFL的协作训练的最新进展之上,这些组织依赖于同态加密(HE)和安全多方计算(MPC)等协议来确保计算和训练的安全。特别是,分析了VFL的中间结果(IR)在通信过程中如何泄漏训练数据的隐私信息,并设计了一种基于DP的隐私保护算法来保证VFL参与者的数据机密性。我们从数学上证明了我们的算法不仅为VFL提供了效用保证,而且还提供了多层次的隐私,即DP w.r.t. IR和联合差分隐私(JDP)w.r.t.模型权重实验结果表明,我们的工作,在足够的隐私预算,是定量和定性类似的GLM,学习在理想化的非私人VFL设置,而不是增加成本的内存和处理时间在大多数以前的作品的基础上HE或MPC。如果这篇论文被接受,我们的代码将被发布。
2020-09-06 cs.AI cs.LG stat.ML
FedNIA: Noise-Induced Activation Analysis for Mitigating Data Poisoning in Federated Learning
University of Windsor(温莎大学);University of New Brunswick(新不伦瑞克大学)
针对联邦学习中的数据投毒攻击,提出无需中央测试集的FedNIA防御框架,通过注入噪声并分析逐层激活模式来识别恶意客户端,实验验证其对多种攻击有效。
2026-09-23 cs.AI cs.CR cs.LG
Dataset Distillation-based Hybrid Federated Learning on Non-IID Data
College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China(浙江工业大学信息工程学院,杭州 310023,中国);Zhejiang Key Laboratory of Intelligent Perception and Control for Complex Systems, Hangzhou, China(浙江省复杂系统智能感知与控制重点实验室,杭州,中国);College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China(浙江大学控制科学与工程学院,杭州 310027,中国);Computing Science and Internet of Things, Newcastle University, NE1 7RU Newcastle, UK(新castle大学计算科学与物联网学院,NE1 7RU Newcastle, UK)
本文提出HFLDD框架,通过数据集蒸馏生成近似独立等分布数据,缓解非IID数据对模型训练的影响,实验表明在严重类别不平衡时提升测试准确率和通信效率。
2026-03-24 cs.AI cs.LG
Vertical Federated Learning Hybrid Local Pre-training
Zhejiang Lab(之江实验室)
针对传统纵向联邦学习仅用对齐样本导致数据稀缺、未对齐数据浪费的问题,提出混合本地预训练方法VFLHLP,通过本地预训练网络优化下游联邦学习性能,在真实广告数据集上效果显著优于基线。
2024-05-21 cs.DC cs.LG
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise
East China Normal University(华东师范大学)
联邦学习试图通过让客户只公开他们的本地训练模型来解决孤立数据岛的问题。然而,研究表明,通过分析局部模型参数,如深度神经网络模型权重,仍然可以推断出私人信息。近年来,差分隐私被应用于联邦学习中以保护数据隐私,但加入的噪声可能会大大降低学习性能。通常情况下,在以前的工作中,训练参数被同等地裁剪,噪声被均匀地添加。没有考虑训练参数的异质性和收敛性。在本文中,我们提出了一个差分隐私的联邦学习方案与自适应噪声(Adap DP-FL)。具体来说,由于梯度的异质性,我们进行自适应梯度裁剪为不同的客户端和不同的回合;由于梯度收敛,我们添加相应的减少噪音。在真实数据集上的大量实验表明,我们的Adap DP-FL显著优于以前的方法。
2022-11-29 cs.CR cs.DC cs.LG
Enhancing Object Detection with Hybrid dataset in Manufacturing Environments: Comparing Federated Learning to Conventional Techniques
RPTU Kaierslautern-Landau(莱茵-普法尔茨-蒂尔库森-兰道大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
该研究针对制造环境下的小目标检测任务,利用混合数据集对比联邦学习与传统目标检测技术,证实联邦学习在跨环境、多干扰场景下性能更优,为制造场景部署鲁棒目标检测模型提供参考。
2024-08-16 cs.CV cs.LG
Wireless Federated Distillation for Distributed Edge Learning with Heterogeneous Data
Korea Advanced Institute of Science and Technology(韩国科学技术院);King’s College London(伦敦国王学院)
用于分布式机器学习的协作训练方法通常假设无噪声和理想的通信信道。这项工作研究了无线通信链路的存在所带来的机遇和挑战。我们特别考虑无线实现的联邦学习(FL)和联邦蒸馏(FD),以及一种新的混合联邦蒸馏(HFD)计划。这两个数字实现的基础上单独的源信道编码和空中计算实现的基础上联合源信道编码提出和评估高斯多址信道。
2019-07-05 cs.IT cs.LG math.IT
Lean Clients, Full Accuracy: Hybrid Zeroth- and First-Order Split Federated Learning
Charles L. Brown Department of Electrical and Computer Engineering, University of Virginia(弗吉尼亚大学电气与计算机工程系查尔斯·L·布朗部门)
HERON-SFL通过结合零阶和一阶优化,实现高效客户端计算和减少通信开销,提升边缘设备模型训练效率。
2026-01-14 cs.DC cs.IT cs.LG
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift
School of Computing Science University of Glasgow(计算科学学院格拉斯哥大学)
针对联邦学习中数据异质性导致的泛化问题,提出结合剪枝与正则化的新框架,并引入CelebA-Gender基准数据集,实验证明其优于标准基线,提升模型鲁棒性。
2025-09-09 cs.CV cs.LG
Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning
University of Cincinnati(辛辛那提大学);University of Wisconsin Milwaukee(威斯康星大学密尔沃基分校);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Northeastern University(东北大学)
针对电子健康数据同时存在水平与垂直划分的问题,本文提出含一次中间结果交换和两阶段聚合的混合联邦学习框架及 HSGD 算法,给出收敛上界与自适应调参策略,实验证明其可在保证精度时降低通信成本。
2024-04-15 cs.DC cs.LG
A Hybrid Approach to Privacy-Preserving Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM Research Almaden(IBM阿尔马登研究中心)
联邦学习促进了模型的协作训练,而无需共享原始数据。然而,最近的攻击表明,在训练过程中简单地维护数据局部性并不能提供足够的隐私保证。相反,我们需要一个联邦学习系统,能够防止对训练期间交换的消息和最终训练模型的推断,同时确保最终模型也具有可接受的预测准确性。现有的联邦学习方法要么使用易受推断影响的安全多方计算(SMC),要么使用差分隐私,这可能导致低准确性,因为大量的参与方各自具有相对少量的数据。在本文中,我们提出了一种替代方法,利用差分隐私和SMC来平衡这些权衡。将差分隐私与安全多方计算相结合,使我们能够在不牺牲隐私的情况下减少噪声注入的增长,同时保持预定义的信任率。因此,我们的系统是一种可扩展的方法,可以防止推理威胁,并生成高精度的模型。此外,我们的系统可以用于训练各种机器学习模型,我们验证了3种不同的机器学习算法的实验结果。我们的实验表明,我们的方法优于最先进的解决方案。
2019-08-14 cs.LG stat.ML
Federated Model Distillation with Noise-Free Differential Privacy
Lehigh University(理海大学);Ant Group(蚂蚁集团)
传统的联邦学习直接对模型权重进行平均,这只适用于具有同构架构的模型之间的协作。共享预测而不是权重消除了这一障碍,并消除了传统联邦学习中白盒推理攻击的风险。然而,来自本地模型的预测是敏感的,并且会将训练数据隐私泄露给公众。为了解决这个问题,一种简单的方法是将差分私有随机噪声添加到预测中,然而这在隐私预算和模型性能之间带来了实质性的权衡。在本文中,我们提出了一种新的框架称为FEDMD-NFDP,它适用于无噪声差分隐私(NFDP)机制到联邦模型蒸馏框架。我们在各种数据集上的大量实验结果验证了FEDMD-NFDP不仅可以提供相当的效用和通信效率,而且还提供了无噪声的差分隐私保证。我们还通过考虑IID和非IID设置,异构模型架构以及来自不同分布的未标记公共数据集来证明我们的FEDMD-NFDP的可行性。
2021-05-21 cs.CR cs.LG stat.ML
The Paradox of Noise: An Empirical Study of Noise-Infusion Mechanisms to Improve Generalization, Stability, and Privacy in Federated Learning
Data Science and Analytics Institute, University of Oklahoma(俄克拉荷马大学数据科学与分析研究所);Industrial and Systems Engineering, University of Oklahoma(俄克拉荷马大学工业与系统工程系)
本研究实证探究联邦学习中不同噪声注入机制对深度模型泛化、稳定性与隐私的影响,引入信噪比及代价指标以平衡隐私与精度,并对比三种CNN架构。
2023-11-09 cs.AI cs.LG
A Novel Framework of Horizontal-Vertical Hybrid Federated Learning for EdgeIoT
University of Cambridge(剑桥大学);Real-Time and Embedded Computing Systems Research Centre (CISTER)(实时与嵌入式计算系统研究中心(CISTER));Commonwealth Scientific and Industrial Research Organization (CSIRO)(英联邦科学与工业研究组织(CSIRO));University of New South Wales(新南威尔士大学);Nanyang Technological University(南洋理工大学);Koç University(科克大学)
针对 EdgeIoT 中设备样本与特征异构的问题,提出 HoVeFL 混合联邦学习框架,并通过 CIFAR-10、SVHN 评估不同横纵设备配置对测试损失的影响。
2024-10-02 cs.DC cs.LG eess.SP
Multi-Stage Hybrid Federated Learning over Large-Scale D2D-Enabled Fog Networks
Purdue University(普渡大学);Arizona State University(亚利桑那州立大学);NC State University(北卡罗来纳州立大学)
联邦学习已经引起了极大的兴趣,几乎所有的工作都集中在“星型”拓扑结构上,其中节点/设备都连接到中央服务器。我们从这种架构迁移出来,并通过网络维度将其扩展到终端设备和服务器之间有多层节点的情况。具体来说,我们开发了多阶段混合联邦学习(MH-FL),这是一种层内和层间模型学习的混合,将网络视为一种基于多层集群的结构。MH-FL考虑了集群中节点之间的拓扑结构,包括通过设备到设备(D2 D)通信形成的本地网络,并假设了一个半分散的联邦学习架构。它以协作/合作的方式编排不同网络层处的设备(即,使用D2 D交互)来形成关于模型参数的局部一致性,并将其与树形层次结构的层之间的多级参数中继相结合。我们推导出MH-FL相对于网络拓扑参数的收敛上界(例如,谱半径)和学习算法(例如,不同集群中的D2 D回合的数量)。我们获得了一组政策的D2 D轮在不同的集群,以保证有限的最优性差距或收敛到全局最优。然后,我们为MH-FL开发了一种分布式控制算法,以随着时间的推移调整每个集群中的D2 D轮次,以满足特定的收敛标准。我们在真实世界数据集上的实验验证了我们的分析结果,并证明了MH-FL在资源利用率指标方面的优势。
2022-01-12 cs.LG cs.NI
Cybersecurity in Edge Computing: A Trust-Aware Federated Hybrid Intrusion Detection Framework
Victoria University(维多利亚大学)
针对边缘计算中扩大的攻击面,提出一种信任感知联邦混合入侵检测框架(TA-FHIDF),集成自动编码器、1D-CNN和BiLSTM进行本地特征提取,并通过联邦学习与余弦相似度聚合抵御投毒攻击,在多个基准数据集上验证了高准确性和拜占庭容错性。
2026-10-01 cs.CR cs.LG
Unified Robust and Convergent Over-The-Air Federated Learning under Channel Noise and Heterogeneity
ECE dept., IIIT Delhi, New Delhi(电子工程系,印度理工学院德里,新德里)
针对6G异构无线网络中OTA-FL受噪声、衰落和异构性影响的问题,提出NoROTA-FL框架,通过受控非精确解和近端约束实现鲁棒聚合,理论保证非凸收敛,实验在FEMNIST等数据集上优于COTAF和FedProx。
2026-10-27 cs.LG eess.SP
Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping
ZJU-UIUC Institute, Zhejiang University, Haining 314400, China(浙江大学-UIUC研究院,浙江大学,海宁314400,中国);Singapore University of Technology and Design(新加坡科技与设计大学)
针对空中联邦学习中重尾噪声损害训练性能的问题,本文提出中位数锚定裁剪(MAC)梯度裁剪方法,并推导其收敛速率,实验证明MAC能显著提升系统鲁棒性。
2025-07-06 cs.AI cs.LG
FedPNN: One-shot Federated Classification via Evolving Clustering Method and Probabilistic Neural Network hybrid
Institute For Development And Research In Banking Technology (IDRBT)(银行技术发展与研究院);University of Hyderabad(海得拉巴大学)
针对联邦学习通信开销和资源受限问题,提出两阶段隐私保护方法FedPNN,结合改进的CTGAN生成合成数据集,并利用改进的演化聚类方法优化联邦概率神经网络构建全局分类模型,在四个金融和医疗数据集上验证了有效性。
2023-04-09 cs.AI cs.LG
DS FedProxGrad: Asymptotic Stationarity Without Noise Floor in Fair Federated Learning
DS FedProxGrad通过改进的渐近收敛分析,在公平联邦学习中实现了无需噪声地板的渐近站静。
2026-01-21 cs.LG stat.ML
OCT-FedSIR: Toward Trustworthy Federated Ophthalmic Learning under Annotation Noise
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Wake Forest School of Medicine(维克森林大学医学院)
OCT-FedSIR提出可靠性感知谱框架,结合谱估计与重标记,在异构联邦眼科数据中有效识别并纠正注释噪声,提升分类准确率至86.73%。
2026-09-15 cs.AI cs.DC cs.LG
DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup
Tencent AI Lab(腾讯人工智能实验室);Hong Kong University of Science and Technology(香港科技大学)
最近,联邦学习已经成为一种很有前途的方法,可以使用来自多个组织的数据来训练全局模型,而不会泄露原始数据。然而,直接将联邦学习应用于现实任务面临两个挑战:(1)不同组织之间的数据异构性;(2)单个组织内部的数据噪声。在本文中,我们提出了一个通用的框架,同时解决上述两个挑战。具体来说,我们建议使用分布式鲁棒优化,以减轻数据异构性范例所造成的负面影响,在每次迭代的基础上,可学习的分布样本客户端。此外,我们观察到,这种优化范式很容易受到本地客户端内部数据噪声的影响,这在全局模型预测精度方面具有显着的性能下降。为了解决这个问题,我们建议将混淆技术纳入联邦学习的局部训练过程。我们进一步提供了全面的理论分析,包括鲁棒性分析,收敛性分析和泛化能力。此外,我们在不同的药物发现任务,如ADMET属性预测和药物靶点亲和力预测进行实证研究。
2022-04-16 cs.DC cs.LG stat.ML
Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise
University of Connecticut(康涅狄格大学);CWI Amsterdam(阿姆斯特丹数学与计算机科学研究中心);IBM Research(IBM研究院);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
联邦学习的可行性在网络通信方面受到服务器-客户端基础设施的高度约束。大多数新推出的智能手机和物联网设备都配备了GPU或足够的计算硬件来运行强大的AI模型。然而,在原始同步联邦学习的情况下,客户端设备遭受等待时间,并且需要客户端和服务器之间的定期通信。这意味着对局部模型训练时间和不规则或错过的更新更敏感,因此,对大量客户端的可扩展性较小或有限,并且实时的测量的收敛速率将受到影响。我们提出了一种新的异步联邦学习算法,它消除了等待时间,减少了整体网络通信-我们为强凸目标函数提供了严格的理论分析,并提供了仿真结果。通过添加高斯噪声,我们展示了我们的算法是如何被差分私有化的--新的定理展示了聚合的高斯噪声是如何被显着减少的。
2020-07-17 cs.CR cs.LG math.OC
Differentially Private Online Federated Learning with Correlated Noise
KTH Royal Institute of Technology(KTH皇家理工学院);The Chinese University of Hong Kong(香港中文大学)
针对在线联邦学习中持续发布模型的隐私保护问题,提出采用时间相关噪声的差分隐私算法,并通过扰动迭代分析与拟强凸条件建立动态遗憾界,实验验证其有效性。
2025-01-08 cs.CR cs.DC cs.LG
FedCorr: Multi-Stage Federated Learning for Label Noise Correction
Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学)
联邦学习(FL)是一种隐私保护的分布式学习范式,使客户端能够联合训练一个全局模型。在现实世界的FL实现中,客户端数据可能具有标签噪声,并且不同的客户端可能具有非常不同的标签噪声水平。虽然存在用于解决标签噪声的集中式学习方法,但由于FL中的客户端数据集和数据隐私要求通常较小,因此这些方法在FL设置中的异构标签噪声上表现不佳。在本文中,我们提出了$\texttt{FedCorr}$,一个通用的多阶段框架来解决FL中的异构标签噪声,而不对本地客户端的噪声模型进行任何假设,同时仍然保持客户端数据隐私。具体地,(1)$\texttt{FedCorr}$通过利用在所有客户端上独立测量的模型预测子空间的维度来动态地识别有噪声的客户端,并且然后基于每样本损失来识别有噪声的客户端上的不正确标签。为了处理数据的异质性和提高训练的稳定性,我们提出了一个自适应的局部邻近正则化项,它是基于估计的局部噪声水平。(2)我们进一步对识别出的干净客户端上的全局模型进行微调,并在微调后为剩余的嘈杂客户端校正嘈杂标签。(3)最后,我们对所有客户进行常规培训,以充分利用所有本地数据。在具有联邦合成标签噪声的CIFAR-10/100和真实世界噪声数据集Clothing 1 M上进行的实验表明,$\texttt{FedCorr}$对标签噪声具有鲁棒性,并且在多个噪声水平下显著优于最先进的方法。
2022-04-10 cs.AI cs.CV cs.LG
A Hybrid Swarm Intelligence Approach for Optimizing Multimodal Large Language Models Deployment in Edge-Cloud-based Federated Learning Environments
Concordia University(康考迪亚大学);Khalifa University(哈利法大学);University of Waterloo(滑铁卢大学);Aqaba University of Technology(亚喀巴技术大学)
针对边缘-云联邦学习环境中MLLMs部署的资源、通信及数据挑战,提出混合群体智能框架,通过PSO选设备、ACO优化传输,实现边缘部署+云端训练+边缘微调,显著提升准确率(92%)、降低通信成本(30%)并提高客户端参与度。
2025-02-04 cs.AI cs.LG cs.NE
Accelerating Hybrid Federated Learning Convergence under Partial Participation
University of Miami(迈阿密大学);University of Virginia(弗吉尼亚大学)
针对部分参与制约混合联邦学习收敛速度的问题,提出FedCLG算法,通过发挥服务器本地训练与梯度引导的双重作用提升收敛效率,实验验证其性能优于现有最优方法。
2024-05-18 cs.DC cs.LG
BlockFLA: Accountable Federated Learning via Hybrid Blockchain Architecture
The University of Texas at Dallas(得克萨斯大学达拉斯分校)
联邦学习(FL)是一种分布式、去中心化的机器学习协议。通过执行FL,一组代理可以联合训练模型,而无需彼此或第三方共享其数据集。这使得FL特别适合需要数据隐私的设置。与此同时,隐藏训练数据给攻击者提供了一个机会,可以将后门注入到经过训练的模型中。已经证明,攻击者可以在FL期间向训练好的模型注入后门,然后可以利用后门使模型在以后错误分类。一些作品试图通过设计强大的聚合函数来减轻这种威胁。然而,随着时间的推移,越来越多的复杂攻击会绕过现有的防御措施,因此我们在这项工作中从互补的角度来解决这个问题。特别是,我们的目标是通过检测和惩罚攻击者来阻止后门攻击,可能在训练阶段结束后。为此,我们开发了一个基于区块链的混合FL框架,该框架使用智能合约来自动检测并通过金钱惩罚来惩罚攻击者。我们的框架是通用的,在这个意义上,任何聚合功能,和任何攻击者检测算法可以插入到它。我们进行实验,以证明我们的框架保留了FL的通信效率的性质,并提供实证结果来说明,它可以成功地利用我们的新的攻击者检测算法惩罚攻击者。
2020-10-14 cs.CR cs.DC cs.LG