FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
联邦学习是一种分布式机器学习方法,其使得共享服务器模型能够通过将本地计算的参数更新与来自空间分布的客户端筒仓的训练数据聚合来进行学习。虽然联邦学习在规模和隐私方面都有优势,但它受到了域转移问题的影响,在域转移问题中,学习模型无法推广到数据分布是非独立同分布的不可见域。在训练领域。在这项研究中,我们提出了联邦不变学习一致性(FedILC)的方法,它利用梯度协方差和几何平均值的Hessians捕获筒仓间和筒仓内的环境,并解开域转移问题在联邦网络。基准测试和真实世界的数据集实验证明,我们提出的算法优于传统的基线和类似的联邦学习算法。这与诸如医疗保健、计算机视觉和物联网(IoT)的各种领域相关。代码发布于https://github.com/mikemikezhu/FedILC。
2022-05-19 cs.AI cs.DC cs.LG
Privacy-Preserving Federated Deep Clustering based on GAN
Central University of Finance and Economics(中央财经大学)
本文提出基于GAN的隐私保护联邦深度聚类方法,通过客户端本地训练GAN生成合成数据上传服务器进行深度聚类,解决了非独立同分布数据下的联邦聚类问题,同时保护数据隐私。
2023-10-23 cs.LG
Federated clustering with GAN-based data synthesis
School of Statistics and Mathematics(统计与数学学院);Central University of Finance and Economics(中央财经大学)
本文提出了一种基于GAN数据合成的联邦聚类框架SDA-FC,通过在客户端本地训练生成对抗网络并上传合成数据至服务器执行聚类,有效解决了联邦设置中non-IID数据导致的聚类问题,并在应对设备故障上表现优异。
2023-10-23 cs.LG
Federated Learning From Big Data Over Networks
Aalto University(阿尔托大学)
本文提出并研究了一种新的基于局部数据集的联邦学习算法。该算法利用了一个内在的网络结构,通过一个无向的“经验”图的本地数据集。我们使用网络线性回归模型对网络上的大数据进行建模。每个局部数据集都有单独的回归权重。局部数据集的紧密子集合的权重被强制为仅略微偏离。这自然会导致网络套索问题,我们使用原始-对偶方法解决这个问题。我们得到一个分布式的联邦学习算法通过消息传递实现这种原始-对偶方法。我们提供了一个详细的分析所产生的联邦学习算法的统计和计算特性。
2020-10-27 cs.LG
Robust Federated Learning via Over-The-Air Computation
Imperial College London(帝国理工学院)
本文研究了空中联邦学习对拜占庭攻击的鲁棒性。通过空中计算对模型更新进行简单平均,使得学习任务容易受到某些恶意客户端对本地模型更新的随机或有意修改的影响。我们提出了一个强大的传输和聚合框架,这样的攻击,同时保留了联邦学习的空中计算的好处。对于所提出的鲁棒联邦学习,参与的客户端被随机分成组,并为每个组分配一个传输时隙。参数服务器使用鲁棒的聚合技术聚合不同组的结果,并将结果传送给客户端以进行另一轮训练。我们还分析了所提出的算法的收敛性。数值模拟证实了所提出的方法的拜占庭攻击的鲁棒性。
2022-06-23 cs.LG
Multi-Agent Privacy Game in Federated Learning: A Unified Mean-Field View
研究联邦学习中隐私问题,提出将其表述为平均场隐私博弈的方法,每个客户端通过平均场统计量选隐私预算,该框架能产生可处理均衡,适应异构偏好,继承隐私保证,实验表明其实现隐私 - 效用权衡并提供个性化保证。
2026-07-28 cs.AI cs.LG
FedGreed: A Byzantine-Robust Loss-Based Aggregation Method for Federated Learning
School of Electrical and Computer Engineering(电气与计算机工程学院);National Technical University of Athens(雅典技术大学);Department of Mathematics and Informatics(数学与信息学系);Faculty of Sciences, University of Novi Sad(自然科学学院,诺维萨德大学)
针对客户端存在拜占庭攻击的联邦学习场景,提出无需假设对抗参与者比例的FedGreed聚合策略,基于服务器可信数据集的损失指标排序并贪婪选择损失最小的客户端子集,在异构数据下可靠运行且性能显著优于现有基线。
2025-08-25 cs.LG
Robust Federated Personalised Mean Estimation for the Gaussian Mixture Model
School of Technology \& Comp. Sc. Tata Institute of Fundamental Research Mumbai, India;Department of Electrical Engineering University of California Los Angeles, USA
针对联邦学习中异构数据与客户端损坏并存的问题,提出高斯混合模型下个性化均值估计算法,误差与损坏比例近似线性,并给出同阶下界。
2025-07-10 cs.IT cs.LG math.IT
FedMix: Approximation of Mixup under Mean Augmented Federated Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术研究院(KAIST))
联邦学习(FL)允许边缘设备集体学习模型,而无需在每个设备内直接共享数据,从而保护隐私并消除全局存储数据的需要。虽然在独立同分布(iid)本地数据的假设下有很好的结果,但随着客户端之间本地数据的异构性增加,当前最先进的算法性能下降。为了解决这个问题,我们提出了一个简单的框架,平均增强联邦学习(MAFL),客户端发送和接收平均本地数据,受隐私要求的目标应用程序。在我们的框架下,我们提出了一个新的增强算法,命名为FedMix,这是一个现象,但简单的数据增强方法,混合的启发,但不需要本地原始数据直接共享设备之间。我们的方法在FL的标准基准数据集,高度非iid联邦设置下,与传统算法相比,大大提高了性能。
2021-07-01 cs.AI cs.CV cs.DC
Adaptive Personalized Federated Learning via Multi-task Averaging of Kernel Mean Embeddings
Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院);University of Montpellier(蒙彼利埃大学);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文提出基于核均值嵌入的多任务平均方法,实现自适应个性化联邦学习,无需预设数据异质性,自动切换全局与局部学习模式,并通过随机傅里叶特征降低通信成本。
2026-02-13 cs.AI cs.LG
FedFm: Towards a Robust Federated Learning Approach For Fault Mitigation at the Edge Nodes
IIT Delhi(印度理工学院德里分校);University of Cambridge(剑桥大学);UQIDAR, IIT Delhi(印度理工学院德里分校 UQIDAR)
联邦学习从“将数据发送到模型”到“将模型发送到数据”的规范。当在边缘生态系统中使用时,通过不同方式收集数据并通过不同网络通道连接的众多异构边缘设备都会参与训练过程。在这样的生态系统中,由于设备故障或网络问题而导致的边缘设备故障的可能性很高。在本文中,我们首先分析了边缘设备的数量对FL模型的影响,并提供了一种策略来选择对模型有贡献的最佳设备数量。我们观察边缘生态系统在所选设备发生故障时的行为,并提供缓解策略以确保强大的联邦学习技术。
2021-11-01 cs.LG
Optimal Federated Learning for Functional Mean Estimation under Heterogeneous Privacy Constraints
本文研究联邦场景下离散采样数据的最优函数均值估计问题,构建异构隐私约束框架,建立极小极大误差界,提出实现隐私-精度最优权衡的算法并量化基本极限,为联邦环境隐私保护统计分析提供见解。
2025-01-15 cs.LG math.ST stat.TH
PerFED-GAN: Personalized Federated Learning via Generative Adversarial Networks
University of Electronic Science and Technology of China(电子科技大学);Pengcheng Laboratory(鹏城实验室);Mohamed Bin Zayed University Of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
联邦学习作为一种分布式机器学习方法越来越受欢迎,可用于部署依赖AI的物联网应用程序,同时保护客户端数据隐私和安全。由于客户端的差异性,单一的全局模型不一定能在所有客户端上表现良好,因此为每个客户端训练更适合其个性化需求的个性化模型的个性化联邦学习方法成为研究热点。然而,大多数个性化的联邦学习研究都集中在数据异构性上,而忽略了模型架构异构性的需求。现有的大多数联邦学习方法都统一设置了所有参与联邦学习的客户端的模型架构,这对于每个客户端的个体模型和本地数据分布要求都不方便,也增加了客户端模型泄露的风险。提出了一种基于协同训练和生成对抗网络(GANs)的联邦学习方法,允许每个客户端设计自己的模型独立参与联邦学习训练,而无需与其他客户端或中心共享任何模型架构或参数信息。在我们的实验中,所提出的方法优于现有的方法在平均测试精度的42%时,客户端的模型架构和数据分布变化显着。
2022-02-18 cs.LG
Differentially Private Federated $k$-Means Clustering with Server-Side Data
Institute of Science;CNRS \& Universit\'e Paris Cité, Paris, France
针对分布式数据下传统聚类因隐私问题无法适用的难题,提出兼具完全联邦与差分隐私特性的FedDP-KMeans算法,利用服务端数据解决初始化难题,结合联邦DP-Lloyds算法在多基准任务上取得优异结果并给出理论界。
2025-06-11 cs.CR cs.LG
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学);Fudan University(复旦大学);Princeton Univeristy(普林斯顿大学)
垂直联邦学习(Vertical Federated Learning,VFL)是机器学习的一个重要研究领域,它将数据特征分布存储在多方。然而,VFL的通信复杂性通常非常高。在本文中,我们提出了一个统一的框架,通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置:正则化线性回归和$k$均值聚类,并将我们的coreset框架,这两个问题。我们从理论上表明,使用coresets可以大大降低通信复杂性,而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy
University of Waterloo(滑铁卢大学)
针对横向联邦 $k$-means 中安全计算开销高与差分隐私效用差的问题,FastLloyd 结合计算型 DP 和安全聚合,并提出新的 DP 聚类机制,实现五个数量级加速且提升聚类效用。
2025-06-10 cs.CR cs.LG
Federated Learning with Hyperparameter-based Clustering for Electrical Load Forecasting
University of Alberta(阿尔伯塔大学);University of Hradec Králové(赫拉德茨-克拉洛韦大学)
电力负荷预测已成为电力系统运行的重要组成部分。深度学习模型已经在这方面受到欢迎。然而,为了达到预期的预测精度,它们需要大量的数据进行训练。共享各个家庭的电力消耗数据以进行负载预测可能会损害用户隐私,并且在通信资源方面可能是昂贵的。因此,边缘计算方法,如联邦学习,对于这一目的越来越重要。这些方法可以利用的数据,而无需集中存储it.This本文评估的性能联邦学习短期预测的个人住宅负荷以及总负荷。它讨论了这种方法的优点和缺点,通过比较它的集中式和本地学习计划。此外,提出了一种新的客户聚类方法,以减少联邦学习的收敛时间。结果表明,联邦学习具有良好的性能,最小均方根误差(RMSE)为0.117千瓦时的个人负荷预测。
2021-11-14 cs.LG
Over-the-Air Federated Learning In Broadband Communication
针对现有联邦学习在安全多方计算易受推理攻击、差分隐私降低准确率方面的不足,本文提出将 FL 无缝集成到 MIMO 系统内部的空中联邦学习方法。
2023-06-03 cs.LG
Over-the-Air Federated Learning with Joint Adaptive Computation and Power Control
The Ohio State University(俄亥俄州立大学)
本文考虑空中联邦学习(OTA-FL)。OTA-FL利用无线介质的叠加特性,免费进行空中模型聚合。因此,它可以大大降低在从边缘设备传送模型更新时所引起的通信成本。为了充分利用这一优势,同时提供可比的学习性能,传统的联邦学习,假设通过无噪声信道的模型聚合,我们考虑联合设计的传输缩放和本地迭代次数在每一轮,给定的功率约束在每个边缘设备。我们首先通过建立具有Lipschitz连续梯度的一般函数的基本下界来表征由于OTA-FL中的这种信道噪声而导致的训练误差。然后,通过引入自适应收发器功率缩放方案,我们提出了一个空中联邦学习算法与联合自适应计算和功率控制(ACPC-OTA-FL)。我们提供了收敛分析ACPC-OTA-FL在非凸目标函数和异构数据的训练。我们表明,ACPC-OTA-FL的收敛速度相匹配的FL与无噪声通信。
2022-05-12 cs.LG
HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation
针对层次化联邦学习中的域偏移问题,提出HFedATM方法,通过滤波器级最优传输对齐和收缩感知正则化均值聚合提升域泛化性能,并具有更紧的泛化误差界。
2025-08-07 cs.DC cs.LG
FedorAS: Federated Architecture Search under system heterogeneity
Samsung AI Center(三星人工智能中心)
联邦学习(FL)最近受到了相当大的关注,因为它能够在保护客户隐私的同时学习分散的数据。然而,它也带来了与参与设备的异质性相关的额外挑战,无论是在其计算能力还是贡献的数据方面。同时,神经架构搜索(NAS)已成功用于集中式数据集,在受约束或不受约束的设置中产生最先进的结果。然而,这种集中式数据集可能并不总是可用于训练。最近在NAS和FL交叉领域的工作尝试在跨竖井联合设置中缓解此问题,该设置假设具有企业级硬件的同构计算环境。在本文中,我们探讨了我们是否可以在跨设备联合设置中设计不同足迹的架构的问题,其中设备环境,可用性和规模非常不同。为此,我们设计我们的系统,FedorAS,发现和训练有前途的架构,在处理不同的能力,持有非IID分布式数据的设备时,以资源感知的方式。我们提出了其在不同环境下的有效性的经验证据,跨越三种不同的模式(视觉,语音,文本),并展示了其更好的性能相比,最先进的联邦解决方案,同时保持资源效率。
2022-09-29 cs.LG
The Cost of Training Machine Learning Models over Distributed Data Sources
Centre Tecnològic de Telecomunicacions de Catalunya(加泰罗尼亚电信技术中心);Nokia Bell-Labs(诺基亚贝尔实验室)
联邦学习是标准集中式学习范式最有吸引力的替代方案之一,它允许一组异构设备在不共享原始数据的情况下训练机器学习模型。然而,它需要一个中央服务器来协调学习过程,从而引入了潜在的可扩展性和安全问题。在文献中,已经提出了无服务器的联邦学习方法,如八卦联邦学习和支持区块链的联邦学习,以缓解这些问题。在这项工作中,我们提出了一个完整的概述,这三种技术提出了一个比较,根据一组完整的性能指标,包括模型的准确性,时间复杂度,通信开销,收敛时间和能源消耗。一个广泛的模拟活动允许绘制一个定量分析,同时考虑前馈和卷积神经网络模型。结果表明,gossip联邦学习和标准联邦解决方案能够达到相似的精度水平,其能耗受所采用的机器学习模型、软件库和所使用的硬件的影响。因此,支持区块链的联邦学习代表了一种可行的解决方案,可以实现更高安全级别的分散学习,但代价是额外的能源使用和数据共享。最后,我们确定了两个分散的联邦学习实现的开放问题,并提供了在这个新的研究领域的潜在扩展和可能的研究方向的见解。
2023-02-28 cs.LG
Heterogeneity for the Win: One-Shot Federated Clustering
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探索了无监督联邦学习(FL)的独特挑战和机遇。我们开发和分析一个一次性的联邦聚类方案,$k$ -FED,广泛使用的劳埃德的方法$k$均值聚类的基础上。与许多监督问题相比,我们发现联邦网络中的统计异质性问题实际上有利于我们的分析。我们分析$k$ -FED下的中心分离的假设,并比较它的集中式对应的最佳已知的要求。我们的分析表明,在每个设备$(k')$的集群数小于网络$k$,$(k'\le \sqrt{k})$上的集群总数的异构体系中,我们可以利用异构性来发挥优势-显著削弱$k$ -FED的集群分离要求。从实用的角度来看,$k$ -FED还具有许多理想的属性:它只需要一轮通信,可以异步运行,并可以处理部分参与或节点/网络故障。我们激励我们的分析与常见的FL基准测试的实验,并通过个性化FL和设备采样的用例突出了一次性聚类的实际效用。
2021-10-05 cs.LG
Covariances for Free: Exploiting Mean Distributions for Training-free Federated Learning
Department of Computer Science, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机科学系);Computer Vision Center(计算机视觉中心);Media Integration and Communication Center (MICC), University of Florence(佛罗伦萨大学媒体整合与通信中心);IDEAS Research Institute(IDEAS研究机构);City University of Hong Kong(香港城市大学);Program of Computer Science, City University of Hong Kong (Dongguan)(香港城市大学(东莞)计算机科学项目)
本文提出一种免训练联邦学习方法,仅利用客户端共享的类均值估计类协方差矩阵来初始化全局分类器,在相同通信成本下性能提升4-26%,并优于共享二阶统计量和联邦提示调优方法。
2025-10-10 cs.CV cs.LG
Personalizing Federated Learning with Over-the-Air Computations
Singapore University of Technology and Design(新加坡科技设计大学);ZJU-UIUC Institute, Zhejiang University(浙江大学浙江大学-伊利诺伊大学厄巴纳香槟校区联合学院)
联合边缘学习是一种很有前途的技术,可以以隐私保护的方式在无线网络边缘部署智能。在这样的设置下,多个客户端在边缘服务器的协调下协作训练全局通用模型。但培训效率往往受到有限通信和数据异构性带来的挑战的制约。本文提出了一种分布式训练模式,采用模拟空中计算,以解决通信瓶颈。此外,我们利用一个双层优化框架来个性化的联邦学习模型,以应对数据异构性问题。因此,它增强了每个客户端的本地模型的通用性和鲁棒性。我们详细介绍了模型训练过程及其相对于传统框架的优势。我们提供了一个收敛性分析,从理论上证明了训练效率。我们还进行了大量的实验,以验证所提出的框架的有效性。
2023-02-24 cs.LG
EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning
VMware Research(威睿研究院);University College London(伦敦大学学院);Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
分布式均值估计(DME)是联邦学习中的核心构建块,其中客户端将局部梯度发送到参数服务器以平均和更新模型。由于通信约束,客户端经常使用有损压缩技术来压缩梯度,从而导致估计不准确。当客户端具有不同的网络条件时,DME更具挑战性,例如通信预算受限和数据包丢失。在这样的设置中,DME技术往往会导致估计误差的显著增加,从而导致学习性能下降。在这项工作中,我们提出了一个强大的DME技术命名为EDEN,自然处理异构通信预算和数据包丢失。我们得出有吸引力的理论保证EDEN和经验评估。我们的研究结果表明,EDEN一贯改善国家的最先进的DME技术。
2022-06-15 cs.AI cs.DS cs.LG
Privatized Graph Federated Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College London(帝国理工学院)
联邦学习是一种半分布式算法,其中服务器与多个分散的客户端通信以学习全局模型。联邦体系结构不健壮,并且由于其一主多客户端结构而对通信和计算过载敏感。它还可能受到针对通信链路上的个人信息的隐私攻击。在这项工作中,我们介绍了图联邦学习(GFL),它由多个联邦单元连接的图。然后,我们展示了如何使用图同态扰动来确保算法是差异私有的。我们进行收敛和隐私的理论分析,并说明性能的计算机模拟。
2023-01-16 cs.CR cs.LG
Blind Federated Learning via Over-the-Air q-QAM
KTH Royal Institute of Technology(瑞典皇家理工学院);Uppsala University(乌普萨拉大学)
本文提出一种基于 q-QAM 数字空中计算的盲联邦边缘学习框架,在无信道状态信息下实现低时延传输,并证明均方误差上界与收敛速率,实验显示增加天线和调制阶数可提升精度达 60%。
2024-04-19 cs.LG eess.SP
Communication-Efficient Massive UAV Online Path Control: Federated Learning Meets Mean-Field Game Theory
University of Oulu(奥卢大学);Deakin University(迪肯大学)
本文研究了对大量无人机(如无人机)的控制。通过考虑无人机之间的相互作用来控制无人机以形成群的简单方法需要大量的无人机间通信,这在实时应用中是不可能实现的。一种控制方法是应用平均场博弈(MFG)框架,该框架大大减少了UAV之间的通信。然而,要实现这一框架,强大的处理器需要获得在不同的无人机的控制律。这一要求限制了MFG框架在大规模无人机控制等实时应用中的使用。因此,一个基于神经网络(NN)的函数逼近器被用来逼近Hamilton-Jacobi-Bellman(HJB)和Fokker-Planck-Kolmogorov(FPK)方程的解。然而,使用近似解可能违反MFG框架的收敛条件。因此,联邦学习(FL)的方法,可以在无人机上共享神经网络的模型参数,提出了基于神经网络的MFG,以满足所需的条件。神经网络的MFG方法的稳定性分析和拟议FL-MFG的性能阐述了模拟。
2020-08-12 cs.LG cs.NI eess.SP
Enabling Quartile-based Estimated-Mean Gradient Aggregation As Baseline for Federated Image Classifications
University of Miami(迈阿密大学)
本文提出估计均值聚合(EMA)方法,通过四分位数截尾均值处理恶意离群点并应对数据异质性,为联邦学习聚合技术提供兼具安全性与适应性的稳健基线。
2023-09-21 cs.AI cs.CR cs.LG
MedFL-Stress: A Systematic Robustness Evaluation of Federated Brain Tumor Segmentation under Cross-Hospital MRI Appearance Shift
University of Gujrat, Pakistan(瓜尔杰特大学,巴基斯坦)
本文提出MedFL-Stress框架,通过模拟四个医院的MRI外观偏移,评估FedAvg、FedProx和FedBN在不同医院的鲁棒性,发现FedBN在提升最差医院性能方面表现更优。
2026-11-03 cs.CV cs.LG
FDRMFL: Multimodal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning
School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
针对非IID数据分布下联邦回归的多模态特征提取难题,提出FDRMFL框架,通过统一的四项局部目标应对挑战,实验表明该框架能有效降低平均MSE,在六种联邦算法中表现最佳。
2026-07-09 cs.AI cs.LG
Machine Unlearning for Federated Socially Fair k-Means Clustering
Indian Institute of Technology Madras(印度马德拉斯理工学院);Sardar Vallabhbhai National Institute of Technology, Surat(苏拉特萨达尔·瓦拉巴伊国家理工学院)
该研究针对联邦社会公平k均值聚类,提出精确机器遗忘方法,证明其在客户端退出时重放比重新训练更快,明确了精确遗忘复用计算的适用场景。
2026-10-12 cs.DS cs.LG
Federated K-Means Clustering via Dual Decomposition-based Distributed Optimization
Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau(莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
本文针对数据隐私与带宽限制下的分布式聚类需求,提出基于对偶分解的联邦$K$-means聚类方法,评估了三类对偶算法在基准问题上的性能,为后续高效求解提供了思路。
2023-07-25 cs.LG math.OC
Federated Learning on Riemannian Manifolds
University of California, Davis(加州大学戴维斯分校)
联邦学习(FL)在基于智能手机APP的机器学习应用中有着重要的应用。虽然许多算法已经研究了FL,据我们所知,算法FL与非凸约束尚未研究。本文研究了黎曼流形上的FL,发现了联邦PCA和联邦kPCA等重要应用。提出了一种求解黎曼流形上联邦优化问题的黎曼联邦SVRG(RFedSVRG)方法.我们分析了它在不同情况下的收敛速度。数值实验进行比较RFedSVRG与黎曼对口的FedAvg和FedProx。我们观察到,从数值实验的RFedSVRG的优势是显着的。
2022-06-12 cs.LG math.OC
Federated X-Armed Bandit
Purdue University(普渡大学)
本文提出首个联邦X-臂老虎机框架及算法Fed-PNE,利用分层划分与弱光滑性实现次线性遗憾,仅需对数通信,实验验证其优于集中式和联邦基线。
2023-05-15 cs.LG stat.ML
Over-the-Air Federated Learning in Satellite systems
本研究探讨卫星系统中的空中联邦学习,该技术可保障数据隐私安全、利用分布式数据协同学习、降低通信带宽需求,助力构建更智能高效的卫星系统,支撑多领域航天应用。
2023-06-05 cs.LG eess.IV
Federated Anomaly Detection over Distributed Data Streams
FEUP(波尔图大学工程学院);INESC TEC(葡萄牙国家能源与电网研究所);FCUP(波尔图大学理学院);FEP(波尔图大学经济学院)
例如,由于隐私立法和法规以及其他重要的道德问题,即使在高聚合水平上,电信网络数据的共享如今也受到高度限制。它导致数据分散在机构、地区和州之间,抑制了人工智能方法的使用,否则这些方法可以大规模利用数据。它需要建立一个平台来控制这些数据,建立模型或执行计算。在这项工作中,我们提出了一种方法来建立异常检测,联邦学习和数据流之间的桥梁。这项工作的首要目标是在分布式数据流上检测联邦环境中的异常。这项工作通过在异常检测的联邦学习设置中调整数据流算法,并通过提供一个强大的框架和在真实世界的分布式部署场景中演示实际可行性,补充了最先进的技术。
2022-05-17 cs.DC cs.LG
Federated Reinforcement Learning with Environment Heterogeneity
Peking University(北京大学);Xiaohongshu Inc.(小红书公司)
我们研究了一个联邦强化学习(FedRL)问题,其中$n$代理协作学习单个策略,而不共享他们在代理-环境交互过程中收集的轨迹。我们强调了环境异构性的约束,这意味着这些$n$代理所对应的$n$环境具有不同的状态转换。为了获得在所有环境中优化整体性能的价值函数或策略函数,我们提出了两个联邦RL算法,\texttt{QAvg}和\texttt{PAvg}。我们从理论上证明,这些算法收敛到次优的解决方案,而这种次优性取决于如何异构这些$n$环境。此外,我们提出了一个启发式,实现个性化的$n$环境嵌入到$n$向量。个性化启发式不仅改进了训练,而且还允许更好地推广到新环境。
2022-04-06 cs.LG stat.ML
Hierarchical Over-the-Air Federated Edge Learning
Bilkent University(比尔肯特大学);Imperial College London(伦敦帝国理工学院)
考虑了无线通信信道上的联邦学习(FL),具体地,空中(OTA)模型聚合框架。在OTA无线设置中,可以通过增加执行模型聚合的参数服务器(PS)处的接收天线的数量来减轻不利的信道影响。然而,OTA FL的性能受到位于远离PS的移动用户(MU)的存在的限制。在本文中,为了减轻这一限制,我们提出了分层的空中联邦学习(HOTAFL),它利用中间服务器(IS)附近的MU形成集群。我们提供了一个收敛性分析,并通过理论和实验结果表明,在每个集群的局部聚合之前,全局聚合导致更好的性能和更快的收敛比OTA FL。
2021-12-21 cs.DC cs.LG
Motley: Benchmarking Heterogeneity and Personalization in Federated Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
个性化联邦学习考虑异构网络中每个客户端唯一的学习模型。由此产生的特定于客户端的模型已被声称,以提高指标,如准确性,公平性和健壮性,在联邦网络。然而,尽管在这一领域已经做了大量的工作,但仍然不清楚:(1)哪些个性化技术在各种设置中最有效,以及(2)个性化对于实际的联邦应用程序有多重要。为了更好地回答这些问题,我们提出了Motley,一个个性化联邦学习的基准。Motley由一套来自不同问题领域的跨设备和跨竖井联合数据集组成,以及用于更好地理解个性化可能影响的全面评估指标。我们通过比较一些具有代表性的个性化联邦学习方法,在基准上建立基线。这些初步结果突出了现有方法的优点和缺点,并为社区提出了几个开放的问题。Motley旨在提供一种可重复的方法,以推进个性化和异构感知联邦学习的发展,以及迁移学习、元学习和多任务学习的相关领域。
2022-09-26 cs.DC cs.LG
Quantum Federated Learning Based on Bures--Uhlmann Geometry for Heterogeneous Noisy Clients
该研究针对异构噪声客户端的量子联邦学习问题,基于Bures-Uhlmann几何提出含局部预条件子与动态权重聚合规则的方法,经囚禁离子模拟器验证其准确率优于标准联邦平均算法。
2026-08-31 cs.LG quant-ph
Robust Federated Learning on Edge Devices with Domain Heterogeneity
Department of Computer Science and Engineering, Kyung Hee University, 171-04, Republic of Korea(韩国庆熙大学计算机科学与工程系);Machine learning department, Mohamed Bin Zayed University of Artificial Intelligence, United Arab Emirates(阿联酋穆罕默德·本·扎耶德人工智能大学机器学习系)
针对边缘设备联邦学习中的域异构问题,提出基于原型增强与全局原型对齐的FedAPC框架,以提升特征多样性、鲁棒性和泛化能力,并在Office-10与Digits上超过SOTA基线。
2025-05-15 cs.AI cs.LG
Over-the-Air Federated Multi-Task Learning
University of California at Davis(加州大学戴维斯分校);Fudan University(复旦大学)
在这封信中,我们将空中计算引入到联邦多任务学习(FMTL)的通信设计中,并提出了一个空中联邦多任务学习(OA-FMTL)框架,其中部署在边缘设备上的多个学习任务在边缘服务器(ES)的协调下共享非正交衰落信道。具体而言,所有任务的模型更新被发送并同时叠加在非正交上行链路衰落信道上,并且所有任务的模型聚合在ES处通过克服任务间干扰的turbo压缩感测算法(Turbo-CS)的修改版本来重构。收敛性分析和数值结果表明,OA-FMTL框架可以显着提高系统的效率,在减少信道使用的数量,而不会造成实质性的学习性能下降。
2021-10-23 cs.LG cs.NI
QUIC-FL: Quick Unbiased Compression for Federated Learning
University College London(伦敦大学学院);VMware Research(威睿研究院);Ben-Gurion University of the Negev(内盖夫本-古里安大学);Harvard University(哈佛大学)
针对联邦学习中基础模块分布式均值估计(DME)的通信效率问题,提出QUIC-FL方法,通过新颖的问题形式化结合现成数学求解器设计量化方案,渐近提升已有最优NMSE保证的DME技术的编解码复杂度。
2023-06-11 cs.AI cs.DS cs.LG
Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
联邦学习是机器学习中一种流行的分布式学习范式。同时,组合优化是一种有效的分层学习模型,它出现在许多机器学习应用中,如元学习和鲁棒学习。最近,虽然已经提出了一些联邦组合优化算法,但它们仍然受到高样本和通信复杂性的困扰。因此,在本文中,我们提出了一类更快的联邦组合优化算法(即,MFCGD和AdaMFCGD)来求解非凸分布组合问题,该方法建立在基于动量的方差缩减和局部SGD技术的基础上。特别是,我们的自适应算法(即,AdaMFCGD)使用统一的自适应矩阵来灵活地合并各种自适应学习率。此外,我们提供了一个坚实的理论分析,我们的算法在非独立同分布。设置,并证明我们的算法获得了较低的样本和通信复杂性同时比现有的联邦组合算法。具体来说,我们的算法获得较低的样本复杂度的$\tilde{O}(ε^{-3})$与较低的通信复杂性的$\tilde{O}(ε^{-2})$在寻找一个$ε$ -平稳的解决方案。我们在鲁棒的联邦学习和分布式元学习任务上进行了数值实验,以证明我们的算法的效率。
2023-03-30 cs.LG math.OC
Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data
针对联邦学习 Non-IID 数据导致全局模型性能下降的问题,提出 FedDPMS,利用可信服务器共享的差分隐私潜在表示均值生成合成数据以增强本地训练,并在图像分类中优于同类先进方法。
2023-04-20 cs.CR cs.DC cs.LG
One-Shot Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一次性联邦学习,其中中央服务器在单轮通信中通过联合设备网络学习全局模型。我们的方法-利用集成学习和知识聚合-实现了AUC相对于本地基线的平均相对增益为51.5%,并且在(无法实现的)全球理想的90.1%范围内。我们讨论了这些方法,并确定了未来工作的几个有前途的方向。
2019-03-05 cs.LG stat.ML
DRIVE: One-bit Distributed Mean Estimation
VMware Research(VMware研究院);University College London(伦敦大学学院);Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
我们考虑的问题,其中$n$客户端发送$d$维的实值向量使用$d(1+o(1))$位,每个,在一种方式,允许接收器近似重建其平均值。这种压缩问题自然会出现在分布式和联邦学习中。我们提供了新的数学结果,并得出计算效率高的算法,比以前的压缩技术更准确。我们使用各种数据集在分布式和联邦学习任务的集合上评估我们的方法,并显示出对最先进技术的一致改进。
2021-12-16 cs.DS cs.LG
Over-the-Air Federated Learning in Cell-Free MIMO with Long-term Power Constraint
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Lenovo Research(联想研究院)
本文研究无蜂窝MIMO中空中联邦学习的功率控制与波束成形联合优化问题,提出基于李雅普诺夫优化的MOP-LOFPC算法,在仅需因果信道状态信息的条件下实现训练损失与长期功率约束之间更灵活有效的权衡。
2024-10-23 cs.AI cs.LG
Loosely Coupled Federated Learning Over Generative Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Intelligent Automotive Solution BU(华为智能汽车解决方案BU)
联邦学习(FL)是为了在不上传私有数据的情况下实现不同客户端之间的协作机器学习而提出的。然而,由于模型聚合策略,现有的框架需要严格的模型同质性,限制了应用在更复杂的场景。此外,FL的模型和梯度传输的通信成本非常高。本文提出了松耦合联邦学习(LC-FL)框架,该框架以生成模型为传输媒介,实现低通信开销和异构联邦学习。LC-FL可以应用于客户端拥有不同类型机器学习模型的场景。在不同多方场景下的真实数据集上的实验证明了该方法的有效性。
2020-09-28 cs.DC cs.LG stat.ML
WAFFLe: Weight Anonymized Factorization for Federated Learning
Duke University(杜克大学);Samsung(三星)
在数据敏感或私密的领域中,可以以分布式方式学习而无需数据离开本地设备的方法具有很大的价值。鉴于这种需求,联邦学习已经成为一种流行的培训模式。然而,许多联邦学习方法以传输数据来交换每个本地设备的更新的权重参数。因此,一个成功的漏洞,否则将直接损害数据,而不是授予白盒访问本地模型,这打开了大门,以一系列的攻击,包括暴露数据联邦学习寻求保护。此外,在分布式场景中,各个客户端设备通常表现出高度的统计异质性。许多常见的联邦方法学习单个全局模型;虽然这可能在平均情况下做得很好,但当i.i.d.假设被违反,使个人进一步偏离平均值,并提出公平性问题。为了解决这些问题,我们提出了权重分析因子分解的联邦学习(WAFFLe),一种方法,结合了印度自助餐过程与共享字典的权重因子的神经网络。在MNIST、FashionMNIST和CIFAR-10上的实验表明,WAFFLe在本地测试性能和公平性方面有了显着改善,同时提供了额外的安全层。
2020-08-13 cs.LG stat.ML
Optimizing Quantum Federated Learning Based on Federated Quantum Natural Gradient Descent
Fudan University(复旦大学);Georgia Institute of Technology(佐治亚理工学院);Northwestern Polytechnical University(西北工业大学);Universidad San Pablo-CEU, CEU Universities(CEU大学圣巴勃罗-CEU大学)
量子联邦学习(QFL)是经典联邦学习模型在多个本地量子设备上的量子扩展。一个有效的优化算法总是期望最小化不同量子参与者之间的通信开销。在这项工作中,我们提出了一个有效的优化算法,即联邦量子自然梯度下降(FUNDERGED),并进一步将其应用到QFL框架,这是由一个变分量子线路(VQC)为基础的量子神经网络(QNN)。与Adam和Adagrad等随机梯度下降方法相比,该算法允许更少的训练迭代以使QFL收敛。此外,它可以显着减少本地量子设备之间的总通信开销。我们在手写体数字分类数据集上的实验证明了QFL框架的ONUNGD在训练集上更快的收敛速度和测试集上更高的准确性方面的有效性。
2023-02-27 cs.LG quant-ph
Over-the-Air Fair Federated Learning via Multi-Objective Optimization
针对联邦学习中客户端数据异构导致的模型不公平问题,提出 OTA-FFL,利用多目标优化、改进 Chebyshev 加权与空中计算实现公平且鲁棒的梯度聚合。
2025-01-06 cs.AI cs.LG