Graph-Assisted Communication-Efficient Ensemble Federated Learning
University of California, Irvine(加州大学欧文分校)
在联邦学习中,由于有限的通信带宽,通信效率成为必要条件。为此,本文开发了一个算法框架,其中学习了预训练模型的集合。在每一轮学习中,服务器选择预先训练的模型的子集以基于图的结构来构建集成模型,图的结构表征服务器对模型的置信度。然后,只有选定的模型被传输到客户端,这样就不会违反某些预算约束。在从客户端接收到更新时,服务器相应地细化图的结构。证明了该算法具有次线性遗憾界。在真实数据集上的实验证明了该方法的有效性。
2022-02-27 cs.LG
DFed-SST: Building Semantic- and Structure-aware Topologies for Decentralized Federated Graph Learning
Shandong University, School of Mechanical, Electrical and Information Engineering(山东大学,机械电子信息工程学院);Beijing Institute of Technology, School of Computer Science and Technology(北京理工大学,计算机科学与技术学院);Sun Yat-sen University, School of Computer Science and Engineering(中山大学,计算机科学与工程学院)
本文提出去中心化联邦图学习框架DFed-SST,通过双拓扑自适应通信机制利用局部子图拓扑特征动态优化客户端间通信拓扑,在八个真实数据集上平均准确率提升3.26%。
2025-08-15 cs.LG
Optimizing the Collaboration Structure in Cross-Silo Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对联邦学习中存在的负迁移问题,提出新型框架FedCollab,通过按分布距离和数据量划分客户端联盟来优化协作结构,在多种设置下均能有效缓解负迁移且性能优于现有聚类式联邦学习算法。
2023-06-10 cs.LG
Federated Learning From Big Data Over Networks
Aalto University(阿尔托大学)
本文提出并研究了一种新的基于局部数据集的联邦学习算法。该算法利用了一个内在的网络结构,通过一个无向的“经验”图的本地数据集。我们使用网络线性回归模型对网络上的大数据进行建模。每个局部数据集都有单独的回归权重。局部数据集的紧密子集合的权重被强制为仅略微偏离。这自然会导致网络套索问题,我们使用原始-对偶方法解决这个问题。我们得到一个分布式的联邦学习算法通过消息传递实现这种原始-对偶方法。我们提供了一个详细的分析所产生的联邦学习算法的统计和计算特性。
2020-10-27 cs.LG
SOFA-FL: Self-Organizing Hierarchical Federated Learning with Adaptive Clustered Data Sharing
Carnegie Mellon University(卡内基梅隆大学)
SOFA-FL通过自适应聚类数据共享和动态拓扑重构,解决联邦学习中数据异质性和网络拓扑刚性的挑战。
2025-12-09 cs.LG
FedSAP: Federated Learning with Structured Adaptive Partitioning for Multi-Domain Heterogeneous Edge Devices
针对异构边缘设备联邦学习中的资源与域偏移问题,提出FedSAP框架,通过结构化剪枝实现三态通道分配,隔离域敏感更新,在Digits和Office-Caltech上超越基线并支持高剪枝率。
2026-10-02 cs.LG
Personalized Additive Modeling for Multi-level Federated Learning
University of Technology Sydney(悉尼科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出FeMAM,通过多级共享模型和加法组合构建个性化预测器,有效处理复杂非独立同分布数据,优于传统联邦学习基线。
2026-06-24 cs.LG
FedSheafHN: Personalized Federated Learning on Graph-structured Data
Nanyang Technological University(南洋理工大学)
提出FedSheafHN模型,通过协作图嵌入与层束扩散学习客户端表示,结合高级超网络生成个性化参数,提升了图结构数据个性化联邦学习的性能、收敛速度及新客户端泛化能力。
2024-05-31 cs.LG
Federated learning in food research
Wageningen Food Safety Research (WFSR), part of Wageningen University & Research(瓦赫宁根食品安全研究所(WFSR),隶属于瓦赫宁根大学与研究中心)
本系统综述调查了联邦学习在食品领域的应用,将其纳入41篇论文并构建框架,指出当前多采用集中式水平联邦学习,同时揭示了缺乏垂直、迁移联邦学习及去中心化架构等知识空白。
2024-06-10 cs.LG
GraphDLG: Exploring Deep Leakage from Gradients in Federated Graph Learning
C-FAIR \& School of Software Shandong University Jinan China;SKLCCSE Lab Beihang University Beijing China;Automation \& Intelligent Sensing Shanghai Jiao Tong University Shanghai China;Shandong University;Beihang University;Shanghai Jiao Tong University
GraphDLG通过解耦图结构和节点特征,有效从共享梯度中恢复原始图数据,提升了节点特征和图结构重建的性能。
2026-01-27 cs.LG
Advances in Robust Federated Learning: A Survey with Heterogeneity Considerations
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);School of Software Engineering, Sun Yat-sen University(中山大学软件工程学院);School of Systems Science and Engineering, Sun Yat-sen University(中山大学系统科学与工程学院)
本文综述了异构联邦学习在数据、模型、任务、设备和通信方面的挑战,系统梳理了数据级、模型级和架构级的应对方法及隐私保护策略,并展望了未来研究方向。
2025-03-08 cs.LG
Personalized Federated Learning with Multiple Known Clusters
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑的个性化联邦学习的问题时,有已知的用户内的集群结构。一种直观的方法是正则化参数,以便同一集群中的用户共享类似的模型权重。然后可以将聚类之间的距离正则化以反映不同用户聚类之间的相似性。我们开发了一种算法,允许每个集群独立通信,并得出收敛结果。我们研究了一个分层线性模型,从理论上证明我们的方法优于独立学习的代理和学习单个共享权重的代理。最后,我们使用模拟和真实世界的数据证明了我们的方法的优势。
2022-04-28 cs.LG
FlatLand: Personalized Graph Federated Learning via Tailored Lorentz Space
The Chinese University of Hong Kong(香港中文大学);Yale University(耶鲁大学);Huawei Technologies Co., Ltd.(华为技术有限公司);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
该研究针对图联邦学习中客户端图结构异质性问题,提出FlatLand方法,通过定制洛伦兹空间与参数解耦策略实现个性化联邦学习,在低维设置下表现更优。
2026-08-24 cs.LG
Towards Privacy-Preserving and Heterogeneity-aware Split Federated Learning via Probabilistic Masking
Purdue University(普渡大学);Iowa State University(爱荷华州立大学)
PM-SFL通过概率掩码训练和个性化掩码学习,在隐私保护和异质性感知方面提升了分裂联邦学习的性能和鲁棒性。
2025-12-30 cs.LG
Sample-based and Feature-based Federated Learning for Unconstrained and Constrained Nonconvex Optimization via Mini-batch SSCA
Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)已经成为一个热门的研究领域,在多个客户端之间的机器学习模型的协同训练,持有敏感的本地数据。然而,无约束联邦优化的研究主要是使用随机梯度下降(SGD),它可能收敛缓慢,和约束联邦优化,这是更具挑战性的,迄今尚未研究。本文分别研究了基于样本和基于特征的联邦优化问题,并分别考虑了无约束和有约束非凸问题。首先,我们提出FL算法使用随机逐次凸逼近(SSCA)和小批量技术。这些算法可以充分利用目标函数和约束函数的结构,并逐步利用样本。我们证明了所提出的FL算法分别收敛于无约束和有约束非凸问题的稳定点和Karush-Kuhn-Tucker(KKT)点。接下来,我们提供具有吸引人的计算复杂性和每通信轮的通信负载的算法示例。我们表明,所提出的算法的例子无约束联邦优化是相同的FL算法通过动量SGD和SSCA和动量SGD之间提供了一个分析连接。最后,数值实验表明,所提出的算法在收敛速度,通信和计算成本,和模型规格的固有优势。
2022-07-04 cs.LG
Personalized Federated Learning via Convex Clustering
Carnegie Mellon University(卡内基梅隆大学);University of Novi Sad(诺维萨德大学)
我们提出了一个参数家庭的个性化联邦学习的局部凸用户成本的算法。所提出的框架是基于一个推广的凸聚类,其中不同用户的模型之间的差异通过一个总和的范数惩罚惩罚,加权的惩罚参数$λ$。所提出的方法,使“自动”模型聚类,没有事先知道的隐藏的集群结构,也没有集群的数量。分析的权重参数,导致同时个性化,泛化和自动模型聚类的界限。对公式化问题的解决方案通过在不同的集群中提供不同的模型来实现个性化,并且通过提供与孤立计算的每个用户模型不同的模型来实现泛化。然后,我们提供了一个有效的算法的基础上,并行方向乘法(PDMM)解决所提出的配方在联邦服务器-用户设置。数值实验证实了我们的发现。作为一个有趣的副产品,我们的研究结果提供了几个概括凸聚类。
2022-02-18 cs.LG
Demystifying the Effects of Non-Independence in Federated Learning
Institute of Information Systems(信息系统研究所)
联邦学习(FL)使统计模型能够在用户生成的数据上构建,而不会影响数据安全和用户隐私。出于这个原因,FL非常适合从数据丰富且高度私有化的移动设备上进行设备学习。受移动设备的时间可用性的约束,只有一个子集的设备是可访问的,以参与由训练和聚合组成的迭代协议。在这项研究中,我们采取了一个步骤,更好地了解块循环采样所产生的非独立数据分布的影响。通过对视觉分类进行广泛的实验,我们测量了块循环采样(独立和与非平衡块分布相结合)的影响。具体来说,我们从准确性,公平性和收敛速度的角度来衡量块循环采样引起的变化。实验结果表明,鲁棒性循环两块结构,例如,因为时区的关系。相比之下,依赖于多块结构绘制数据样本会显著降低性能和收敛速度,最高可达26%。此外,我们发现,这种性能退化进一步加剧了不平衡的块分布的点,不能再充分补偿更高的通信和更频繁的同步。
2021-03-20 cs.LG
Multi-task Federated Learning with Encoder-Decoder Structure: Enabling Collaborative Learning Across Different Tasks
Laboratory for Big Data and Decision(大数据与决策实验室)
本文提出M-Fed,通过编码器-解码器结构实现跨任务协同学习,提升联邦学习效率与模型性能。
2025-04-14 cs.AI cs.LG
Fed2: Feature-Aligned Federated Learning
George Mason University(乔治梅森大学);Microsoft(微软);University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
联邦学习通过融合来自本地节点的协作模型来从分散的数据中学习。然而,传统的基于坐标的模型平均FedAvg忽略了每个参数编码的随机信息,并可能遭受结构特征错位。在这项工作中,我们提出了Fed 2,一个功能对齐的联邦学习框架,以解决这个问题,通过建立一个公司的结构,功能对齐的协作模型。Fed 2由两个主要的设计组成:首先,我们设计了一个面向特征的模型结构自适应方法,以确保明确的特征分配在不同的神经网络结构。将结构自适应应用于协作模型,可以在非常早期的训练阶段初始化具有相似特征信息的匹配结构。在联邦学习过程中,我们提出了一个特征配对平均方案,以保证对齐的特征分布,并保持没有特征融合冲突,无论是IID或非IID的情况下。最终,Fed 2可以有效地提高联邦学习在广泛的同质和异构环境下的收敛性能,提供出色的收敛速度,准确性和计算/通信效率。
2021-11-28 cs.AI cs.LG
Heterogeneous Federated Learning
George Mason University(乔治梅森大学);Microsoft(微软);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
联邦学习通过融合来自本地节点的协作模型来从分散的数据中学习。然而,由于混沌的信息分布,模型融合可能会遭受不匹配参数的结构失调。在这项工作中,我们提出了一个新的联邦学习框架,以解决这个问题,建立一个坚实的结构信息对齐跨协作模型。具体而言,我们设计了一个面向特征的调节方法({ $Ψ$ -Net}),以确保明确的特征信息分配在不同的神经网络结构。将这种调整方法应用于协同模型,可以在很早的训练阶段初始化具有相似特征信息的匹配结构。在IID和非IID场景下的联邦学习过程中,专用协作机制进一步保证了信息的有序分布和明确的结构匹配,从而实现了全面的模型对齐。最终,该框架有效地增强了联邦学习对广泛异构环境的适用性,同时提供了出色的收敛速度、准确性和计算/通信效率。
2022-03-20 cs.LG stat.ML
Federated Clustering with Unknown Local and Global Cluster Cardinalities
BITS Pilani K. K. Birla Goa Campus(比拉理工学院K. K. Birla果阿校区)
针对联邦聚类中客户端与服务器均未知簇数量的场景,提出两阶段框架:客户端用自适应分裂-合并(ASM)估计局部簇数,再由 FedGEM 聚合,实验表明其优于现有无标签方法。
2026-09-30 cs.DC cs.LG stat.ML
Differentially Private and Federated Structure Learning in Bayesian Networks
PreMeDICal, Inria, Idesp, Inserm, University of Montpellier(PreMeDICal, 法国国家信息与自动化研究所, Idesp, 法国国家健康与医学研究院, 蒙彼利埃大学)
本文提出Fed-Sparse-BNSL方法,结合差分隐私与贪心更新,实现高效隐私保护和低通信开销的贝叶斯网络结构学习。
2026-04-10 cs.LG stat.ML
Towards Federated Foundation Models: Scalable Dataset Pipelines for Group-Structured Learning
Google Research(谷歌研究院)
本文提出Dataset Grouper库,用于创建大规模分组结构数据集,支持基础模型规模的联邦学习模拟,实验表明其能训练数十亿参数模型,且FedAvg在此规模下更似元学习方法。
2023-12-22 cs.DC cs.LG
Towards Privacy-Aware Causal Structure Learning in Federated Setting
Hefei University of Technology(合肥工业大学);Shanxi University(山西大学)
针对联邦学习中的隐私保护需求,提出FedPC算法,通过逐层聚合与一致分离集策略实现无需集中数据的因果结构学习。
2023-09-06 cs.AI cs.CR cs.LG
A Federated Parameter Aggregation Method for Node Classification Tasks with Different Graph Network Structures
Institute of Cyberspace Security, Zhejiang University of Technology(浙江工业大学网络空间安全研究院);Binjiang Cyberspace Security Institute of ZJUT(浙江工业大学滨江网络空间安全研究院);College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院)
针对图联邦学习中客户端图结构异构导致梯度共享失效的问题,提出联邦聚合方法FLGNN,研究各层参数共享效果,并设计攻击与防御实验验证其有效性与隐私鲁棒性。
2024-03-24 cs.AI cs.LG
FedPS: Federated Preprocessing for structured data via aggregated Statistics
University of Warwick(沃里克大学);University of Oxford(牛津大学)
FedPS 是一种基于聚合统计的联邦数据预处理框架,通过数据草图技术实现高效的分布式预处理,支持特征缩放、编码、离散化和缺失值插补,并扩展了多种机器学习模型到水平和垂直联邦学习环境。
2026-09-04 cs.AI cs.LG
Towards Practical Federated Causal Structure Learning
The Hong Kong University of Science and Technology(香港科技大学)
本文提出联邦因果结构学习方案FedC2SL,通过联邦条件独立性检验在不收集原始数据的情况下学习因果图,并给出FedPC和FedFCI两种变体,在合成与真实数据上验证了其对数据异质性的强鲁棒性。
2023-06-19 cs.AI cs.LG stat.ME
Towards Federated Bayesian Network Structure Learning with Continuous Optimization
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
传统上,贝叶斯网络结构学习通常在一个中心站点进行,所有数据都收集在该中心站点。然而,在实践中,数据可以跨不同方分布(例如,公司、设备),他们打算共同学习贝叶斯网络,但由于隐私或安全问题而不愿意披露与他们的数据相关的信息。在这项工作中,我们提出了一个联邦学习的方法来估计贝叶斯网络的结构,从数据是水平划分在不同的缔约方。我们开发了一个分布式结构学习方法的基础上连续优化,使用交替方向的乘法器(ADMM),只有模型参数必须在优化过程中进行交换。我们证明了我们的方法的灵活性,通过采用它的线性和非线性的情况下。在合成数据集和真实数据集上的实验结果表明,该方法比其他方法具有更好的性能,特别是当客户端数量相对较多且每个客户端的样本量有限时。
2022-04-04 cs.LG stat.ML
Privatized Graph Federated Learning
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College London(帝国理工学院)
联邦学习是一种半分布式算法,其中服务器与多个分散的客户端通信以学习全局模型。联邦体系结构不健壮,并且由于其一主多客户端结构而对通信和计算过载敏感。它还可能受到针对通信链路上的个人信息的隐私攻击。在这项工作中,我们介绍了图联邦学习(GFL),它由多个联邦单元连接的图。然后,我们展示了如何使用图同态扰动来确保算法是差异私有的。我们进行收敛和隐私的理论分析,并说明性能的计算机模拟。
2023-01-16 cs.CR cs.LG
FedGIG: Graph Inversion from Gradient in Federated Learning
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
本文首次探讨梯度反演攻击对联邦图学习的影响,提出专为图结构数据设计的FedGIG方法,通过邻接矩阵约束和子图重建模块恢复私有图数据,在分子数据集上准确率优于现有技术。
2024-12-24 cs.CR cs.LG
FedSubMuon: Communication-Efficient Federated LLM Fine-Tuning via Structured Subspace Muon
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Imperial College London(帝国理工学院);Technische Universität Berlin (TU Berlin)(柏林工业大学);Ocean University of China(中国海洋大学);The Hong Kong Polytechnic University(香港理工大学)
提出FedSubMuon,在共享结构化子空间内优化系数矩阵,实现通信高效的联邦Muon微调,并扩展FedSubMuon-GT提升精度,实验证明其在多数任务上精度最优且通信成本显著降低。
2026-09-09 cs.AI cs.LG
Personalized Federated Learning via Learning Dynamic Graphs
Nanjing University of Science and Technology(南京理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);Southeast University(东南大学)
本文提出pFedGAT方法,通过图注意力网络动态学习客户端间潜在图结构并细粒度控制聚合过程,在多个数据集上验证了其优于现有方法的个性化联邦学习性能。
2025-03-07 cs.AI cs.LG
The OARF Benchmark Suite: Characterization and Implications for Federated Learning Systems
National University of Singapore(新加坡国立大学)
本文提出并描述了一个用于联邦学习的开放应用程序库(OARF),一个联邦机器学习系统的基准套件。以前可用的联邦学习基准主要集中在合成数据集上,并使用有限数量的应用程序。OARF将公开可用的数据集作为图像、文本和结构化数据中的不同数据孤岛来模拟更真实的应用场景。我们的表征表明,基准套件是不同的数据大小,分布,功能分布和学习任务的复杂性。广泛的评估与参考实现显示了未来的研究机会的重要方面的联邦学习系统。我们已经开发了参考实现,并评估了联邦学习的重要方面,包括模型准确性,通信成本,吞吐量和收敛时间。通过这些评估,我们发现了一些有趣的发现,例如联邦学习可以有效地提高端到端的吞吐量。
2022-03-02 cs.LG stat.ML
Federated Variational Inference Methods for Structured Latent Variable Models
Queensland University of Technology(昆士兰科技大学)
本文提出了一种面向联邦学习场景的结构化变分推断方法,并给出通信高效的 FedAvg 式变体,通过实验验证了其在分层贝叶斯神经网络和主题模型上的有效性。
2023-07-07 cs.LG stat.CO stat.ME
Federated Learning with Energy-Based Structured Probabilistic Inference
提出使用条件随机场(CRF)优化联邦学习中客户端聚合权重,通过一元势和成对势建模客户端可靠性与交互,提升非IID数据下的全局模型收敛性能。
2026-10-14 cs.AI cs.LG
Beyond Weights and Gradients: A Taxonomy of Federated Learning Messages
AIMS lab, Center for Neurosciences, UZ Brussel, Vrije Universiteit Brussel, Brussels, Belgium(AIMS实验室,神经科学中心,布鲁塞尔大学医院,布鲁塞尔自由大学,布鲁塞尔,比利时);Artificial Intelligence Lab, Vrije Universiteit Brussel, Brussels, Belgium(人工智能实验室,布鲁塞尔自由大学,布鲁塞尔,比利时)
本文提出联邦消息的正式数学定义,建立包含模型结构、统计摘要和数据条件表示的三类分类法,分析计算、通信和隐私权衡,并综述202篇文献揭示2021年后消息范式多样化趋势。
2026-08-07 cs.AI cs.LG
FedSPDnet: Geometry-Aware Federated Deep Learning with SPDnet
本文提出两种联邦学习框架,用于在对称正定矩阵上运行经典SPDnet模型,通过ProjAvg和RLAvg策略保持几何结构,提升信号处理应用的联邦学习性能。
2026-09-02 cs.LG stat.ML
Federated Learning on Non-IID Graphs via Structural Knowledge Sharing
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);Data61, CSIRO(联邦科学与工业研究组织Data61研究所)
图神经网络(GNNs)在图形数据建模方面显示出其优越性。由于联邦学习的优势,联邦图学习(FGL)使客户端能够以分布式方式训练强大的GNN模型,而无需共享其私有数据。联邦系统的一个核心挑战是非IID问题,它也广泛存在于现实世界的图数据中。例如,客户端的本地数据可以来自不同的数据集或甚至域,例如,社交网络和分子,增加了FGL方法捕获共同共享知识和学习通用编码器的难度。从真实世界的图数据集,我们观察到,一些结构属性共享的各个领域,在FGL共享结构知识呈现出巨大的潜力。受此启发,我们提出了FedStar,一个FGL框架,提取和共享图间联邦学习任务的公共底层结构信息。为了显式地提取结构信息,而不是将它们与节点特征一起编码,我们定义了结构嵌入并使用独立的结构编码器对其进行编码。然后,在客户端之间共享结构编码器,同时以个性化的方式学习基于特征的知识,使FedStar能够捕获更多基于结构的域不变信息,并避免特征不对齐问题。我们在跨数据集和跨域非IID FGL设置上进行了广泛的实验,证明了FedStar的优越性。
2022-11-23 cs.AI cs.DC cs.LG
Vertical Federated Learning: A Structured Literature Review
Maastricht University(马斯特里赫特大学)
本文对垂直联邦学习(VFL)进行了结构化文献综述,探讨了其最新方法、现有挑战的解决方案及未来研究方向。
2023-04-09 cs.AI cs.DC cs.LG
Decision Models for Selecting Federated Learning Architecture Patterns
CSIRO Data61(联邦科学与工业研究组织数据61研究所);University of New South Wales(新南威尔士大学)
针对联邦学习架构设计中模式选择难的问题,本文基于系统性文献综述提出一组将功能与非功能需求映射到模式并说明弊端的决策模型,经大厂架构验证可规范设计流程、明确设计依据。
2023-04-28 cs.LG cs.SE
FedLoRD: Personalized Federated Learning based on Low-Rank Structures of Model Parameter Differences
Graduate School of Engineering, The University of Osaka(大阪大学大学院工学研究科);Faculty of Engineering Science, Kansai University(关西大学工学部)
该研究针对现有个性化联邦学习方法正则化先验不匹配的问题,提出基于模型参数差异低秩结构的FedLoRD方法,经图像分类实验验证其性能优于多种现有同类方法。
2026-10-14 cs.LG eess.SP
FederatedSkill: Federated Learning for Agentic Skill Evolution
UC Santa Barbara(加州大学圣巴bara分校);MIT-IBM Watson AI Lab(麻省理工-IBM Watson人工智能实验室);Cisco Research(思科研究)
提出FederatedSkill框架,通过语义技能差异作为通信单元,在保护隐私的同时实现个性化技能演化,相比自演化基线成功率提升44.4%,计算成本降低37.5%。
2026-06-02 cs.CL cs.LG
Progressive Size-Adaptive Federated Learning: A Comprehensive Framework for Heterogeneous Multi-Modal Data Systems
本文提出基于数据集尺寸特征的渐进式自适应联邦学习框架SAFL,在13个多模态数据集上发现1000-1500样本为最优训练范围,实现87.68%平均准确率并显著降低通信开销。
2025-09-21 cs.AI cs.LG
Development and Design of FLKit: A Structured Onboarding Toolkit for Federated Learning in Health and Life Sciences
STADIUS, Department of Electrical Engineering (ESAT), KU Leuven(STADIUS部门,电气工程系(ESAT),鲁汶大学);Biomedical Research Institute (BIOMED), Hasselt University(生物医学研究所(BIOMED),哈塞尔特大学);Data Science Institute (DSI), Hasselt University(数据科学研究所(DSI),哈塞尔特大学);Department of Medical Genetics, University of Antwerp(医学遗传学系,安特卫普大学)
提出FLKit,一个面向多学科团队的联邦学习入门工具包,通过角色感知入口、生命周期阶段和FAIR对齐模板,降低健康与生命科学领域联邦学习的实践门槛。
2026-06-23 cs.DC cs.LG
A Quasi-Newton Method Based Vertical Federated Learning Framework for Logistic Regression
WeBank(微众银行);ShanghaiTech University(上海科技大学);Hong Kong University of Science and Technology(香港科技大学)
数据隐私和安全性成为从不同数据提供者构建机器学习模型的主要关注点。联邦学习通过将数据留在本地提供商并交换加密信息显示出了希望。本文研究了Logistic回归的垂直联邦学习结构,其中两方的数据集具有相同的样本ID,但具有不相交的特征子集。现有的框架采用一阶随机梯度下降算法,这需要大量的通信轮。为了解决通信的挑战,我们提出了一个基于拟牛顿方法的垂直联邦学习框架下的逻辑回归加性同态加密计划。我们的方法可以大大减少通信轮的数量,每轮有一点额外的通信成本。数值结果表明,我们的方法优于一阶方法。
2019-12-04 cs.LG stat.ML
Federated Learning Algorithms for Generalized Mixed-effects Model (GLMM) on Horizontally Partitioned Data from Distributed Sources
UTHealth(德克萨斯大学休斯顿健康科学中心);University of Pennsylvania(宾夕法尼亚大学);University of Manitoba(曼尼托巴大学)
目的:本文开发了两种算法来实现联邦广义线性混合效应模型(GLMM),并比较了所开发的模型的结果彼此,以及从标准R包(`lme 4 ')。研究方法:GLMM的对数似然函数用两种数值方法(拉普拉斯近似和高斯埃尔米特近似)来近似,支持GLMM的联邦分解,将计算量带到数据上。结果如下:我们开发的方法可以处理GLMM,以适应分层数据与多个非独立的观察水平,在联邦设置。实验结果表明,与模拟和真实世界的数据相当(拉普拉斯)和优越的(高斯-厄米特)性能。结论:我们开发并比较了具有不同近似值的联邦GLP-D,这可以支持研究人员分析生物医学数据,以适应混合效应并解决由于分层结构(即,机构、地区、国家等)。
2022-06-07 cs.LG stat.ML
Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity
University of California San Diego(加州大学圣迭戈分校)
FL中的传统方法试图在中央服务器的编排下,在多个客户端的帮助下协作地学习单个全局模型。然而,在数据异构的情况下,学习单个全局模型可能无法很好地适用于参与FL的所有客户端。因此,全局模型的个性化在处理统计异质性和数据的非IID分布所带来的挑战方面变得至关重要。与以前的作品不同,在这项工作中,我们提出了一种新的方法,从客户端级别的目标获得个性化的模型。这进一步激励了所有客户端即使在统计异质性下也参与联合,以提高其性能,而不仅仅是中央服务器的数据和模型训练的来源。为了实现这种个性化,我们通过应用混合修剪(结构化和非结构化修剪的组合)和非结构化修剪来为每个客户端找到一个小型子网。通过对不同基准测试的一系列实验,我们观察到具有相似数据(标签)的客户端共享相似的个人参数。通过为每个客户端查找子网...
2021-05-10 cs.DC cs.LG
CA-HFP: Curvature-Aware Heterogeneous Federated Pruning with Model Reconstruction
CA-HFP通过曲率感知的剪枝策略,在异构边缘设备上实现个性化压缩,同时保持聚合兼容性和收敛稳定性,实验表明其在模型精度和计算通信成本上有显著优势。
2026-03-13 cs.AI cs.LG
Backdoor Attacks on Federated Learning with Lottery Ticket Hypothesis
Huazhong University of Science and Technology(华中科技大学)
与数据中心的服务器相比,联邦学习中的边缘设备通常具有更有限的计算和通信资源。最近,先进的模型压缩方法,如彩票假设,已经在联邦学习上实现,以减少模型大小和通信成本。然而,后门攻击可能会危及其在联邦学习场景中的实现。恶意边缘设备使用中毒的私有数据训练客户端模型,并将参数上传到中心,在不知情的聚合优化后向全局共享模型嵌入后门。在推理阶段,带有后门的模型将具有特定触发器的样本分类为一个目标类别,而清洁样本的推理精度略有下降。在这项工作中,我们的经验表明,彩票模型同样容易受到后门攻击的原始密集模型,和后门攻击可以影响提取的门票的结构。基于票据之间的相似性,我们为联邦学习提供了一种可行的防御后门攻击的各种数据集。
2021-09-22 cs.CR cs.LG
FedMID: A Data-Free Method for Using Intermediate Outputs as a Defense Mechanism Against Poisoning Attacks in Federated Learning
School of Computing, KAIST(韩国科学技术院计算机学院);Samsung Research(三星研究院);Data Science Group, Institute for Basic Science(基础科学研究院数据科学组);Max Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文提出FedMID,一种无数据防御方法,通过利用本地模型的中间输出作为功能映射来抵御联邦学习中的投毒攻击,实验证明其在多种计算条件和高级攻击下具有鲁棒性,促进数据敏感参与者的安全协作。
2024-04-18 cs.CR cs.LG
No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier
Zhejiang University(浙江大学);Westlake University(西湖大学);Xiamen University(厦门大学)
数据异构性是阻碍联邦学习(FL)性能的固有挑战。最近的研究发现,局部模型的有偏分类器是关键的瓶颈。先前的尝试在FL训练后使用分类器校准,但这种方法在改善由训练时分类器偏差引起的不良特征表示方面存在不足。要解决外语中的量词偏误问题,需要对量词背后的机制有充分的了解。最近的研究表明,在完美的训练场景下,分类器和特征原型可以折叠成一个称为单形等角紧框架(ETF)的最佳结构。基于这种神经崩溃的见解,我们提出了一个解决方案,通过利用合成和固定的ETF分类器在训练过程中的FL的分类器偏差问题。最佳的分类器结构使所有客户端能够学习统一和最佳的特征表示,即使在非常异构的数据。我们设计了几个有效的模块,以更好地适应FL的ETF结构,实现高度的通用性和个性化。大量的实验表明,我们的方法在CIFAR-10,CIFAR-100和Tiny-ImageNet上实现了最先进的性能。
2023-08-28 cs.CV cs.LG
FedGMI: Generative Model-Driven Federated Learning for Probabilistic Mixture Inference
Dept. of Electronic Engineering, BNRist, Tsinghua University(电子工程系,BNRist,清华大学);Dept. of Electronic and Computer Engineering, HKUST(电子与计算机工程系,香港科技大学)
本文提出FedGMI框架,利用变分自编码器建模客户端数据分布的混合结构,实现结构化个性化联邦学习,提升模型性能和鲁棒性。
2026-05-09 cs.DC cs.LG
Federated Large Language Models: Current Progress and Future Directions
Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);University of California San Diego(加州大学圣地亚哥分校);The University of New South Wales(新南威尔士大学);Adobe Research(Adobe研究);University of Maryland College Park(马里兰大学学院公园分校);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
本文综述联邦学习与大语言模型结合(FedLLM)的最新进展,重点分析联邦微调和联邦提示学习如何应对效率、个性化和安全挑战,并展望联邦预训练和联邦智能体等方向。
2026-06-08 cs.CL cs.LG
Federated Learning for Clinical Structured Data: A Benchmark Comparison of Engineering and Statistical Approaches
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Duke University(杜克大学);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究院);Singapore Health Services(新加坡保健服务集团);Singapore General Hospital(新加坡中央医院);Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
本研究针对工程类与统计类联邦学习(FL)认知不均的问题,首次通过模拟与真实临床数据对比5类FL框架,明确了统计法偏差小、可估置信区间,工程法预测更准的优劣,为二者融合应用提供依据。
2023-11-06 cs.AI cs.LG