IFedAvg: Interpretable Data-Interoperability for Federated Learning
ETH Zürich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
最近,对面向隐私的机器学习的需求不断增长,促使研究人员开发联合和分散的学习技术,允许个人客户在不公开其私有数据集的情况下协作训练模型。然而,在依赖于高级别用户信任的领域中,广泛采用受到限制,在这些领域中,数据兼容性评估至关重要。在这项工作中,我们定义和解决低互操作性引起的底层客户端数据不一致的联邦学习表格数据。所提出的方法,iFedAvg,建立在联邦平均添加本地元素的仿射层,以允许个性化和粒度的理解协作学习过程。因此,使得能够检测联合中的离群数据集,并且还学习对本地数据分布偏移的补偿,而不共享任何原始数据。我们使用几个公共基准和以前从未研究过的2014 - 2016年西非埃博拉疫情的真实世界数据集来评估iFedAvg,共同形成了世界上最大的此类数据集。在所有评估中,iFedAvg都以可忽略不计的开销实现了具有竞争力的平均性能。此外,它还显示了对离群客户端的实质性改进,突出了对单个数据集变化的鲁棒性。最重要的是,我们的方法在细粒度级别上提供了有价值的客户特定见解,以指导可互操作的联邦学习。
2021-07-14 cs.DC cs.LG
FedPDC:Federated Learning for Public Dataset Correction
随着人们对隐私保护的日益重视,联邦学习(Federated Learning,FL)作为一种很有前途的分布式机器学习范式受到越来越多的关注。然而,由于现实生活中设备上的数据分布存在偏差,联邦学习在Non-IID场景下的分类准确率低于传统机器学习。虽然有很多优化算法,但参数服务器中的局部模型聚合仍然比较传统。本文提出了一种新的算法FedPDC,利用部分行业的共享数据集,优化局部模型的聚集方式和局部训练的损失函数。在多个基准测试实验中,FedPDC能够在数据分布极不均衡的情况下有效提高全局模型的准确率,同时保证客户端数据的隐私性。同时,FedPDC的准确性提高不会带来额外的通信成本。
2023-02-24 cs.AI cs.LG
Improved Modelling of Federated Datasets using Mixtures-of-Dirichlet-Multinomials
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所);Apple(苹果公司)
针对联邦学习训练慢导致调优受限的问题,提出一种完全联邦的Dirichlet-Multinomial混合模型算法,高效学习真实客户端分布以划分集中式代理数据,显著提升了服务器端训练模拟的准确性。
2024-06-04 cs.DC cs.LG
Federated Dataset Dictionary Learning for Multi-Source Domain Adaptation
CEA, List(法国原子能委员会电子与信息技术实验室);Université Paris-Saclay(巴黎-萨克雷大学)
针对联邦域适应中客户端分布偏移、部分数据无标签的问题,提出基于经验分布字典学习的FedDaDiL框架,设计隐私保护的通信与聚合机制,在多个基准上验证了其生成目标域标记数据的有效性。
2023-11-08 cs.AI cs.LG
On the Local Cache Update Rules in Streaming Federated Learning
University of Miami(迈阿密大学)
在这项研究中,我们解决了新兴领域的流联邦学习(SFL),并提出了本地缓存更新规则来管理动态数据分布和有限的缓存容量。传统的联邦学习依赖于固定的数据集,而在SFL中,数据是流式的,其分布随着时间的推移而变化,导致本地训练数据集和长期分布之间的差异。为了缓解这个问题,我们提出了三个本地缓存更新规则-先进先出(FIFO),静态比率选择性替换(SRSR),动态比率选择性替换(DRSR)-更新本地缓存的每个客户端,同时考虑有限的缓存容量。此外,我们推导出我们提出的SFL算法的收敛界作为长期数据分布和客户端的本地训练数据集之间的分布差异的函数。然后,我们在两个数据集上评估我们提出的算法:网络流量分类数据集和图像分类数据集。我们的实验结果表明,我们提出的本地缓存更新规则显着减少分布差异,优于基线方法。我们的研究推进了SFL领域,并为联邦学习提供了实用的缓存管理解决方案。
2023-03-28 cs.AI cs.LG
Federated Learning on Non-IID Graphs via Structural Knowledge Sharing
University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);Data61, CSIRO(联邦科学与工业研究组织Data61研究所)
图神经网络(GNNs)在图形数据建模方面显示出其优越性。由于联邦学习的优势,联邦图学习(FGL)使客户端能够以分布式方式训练强大的GNN模型,而无需共享其私有数据。联邦系统的一个核心挑战是非IID问题,它也广泛存在于现实世界的图数据中。例如,客户端的本地数据可以来自不同的数据集或甚至域,例如,社交网络和分子,增加了FGL方法捕获共同共享知识和学习通用编码器的难度。从真实世界的图数据集,我们观察到,一些结构属性共享的各个领域,在FGL共享结构知识呈现出巨大的潜力。受此启发,我们提出了FedStar,一个FGL框架,提取和共享图间联邦学习任务的公共底层结构信息。为了显式地提取结构信息,而不是将它们与节点特征一起编码,我们定义了结构嵌入并使用独立的结构编码器对其进行编码。然后,在客户端之间共享结构编码器,同时以个性化的方式学习基于特征的知识,使FedStar能够捕获更多基于结构的域不变信息,并避免特征不对齐问题。我们在跨数据集和跨域非IID FGL设置上进行了广泛的实验,证明了FedStar的优越性。
2022-11-23 cs.AI cs.DC cs.LG
Virtual Homogeneity Learning: Defending against Data Heterogeneity in Federated Learning
Hong Kong Baptist University(香港浸会大学);The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
在联邦学习(FL)中,模型性能通常会受到由数据异构引起的客户端漂移的影响,主流研究集中在纠正客户端漂移上。我们提出了一种不同的方法,称为虚拟同质性学习(VHL)直接“纠正”数据的异质性。特别是,VHL使用一个虚拟的同质数据集进行FL,该数据集满足两个条件:不包含私有信息和可分离。虚拟数据集可以从跨客户端共享的纯噪声生成,旨在校准来自异构客户端的特征。从理论上证明了VHL在自然分布上具有可证明的推广性能。经验上,我们表明,VHL赋予FL大幅提高收敛速度和泛化性能。VHL是首次尝试使用虚拟数据集来解决数据异构性,为FL提供了新的有效手段。
2022-06-24 cs.AI cs.DC cs.LG
Federated Learning Versus Classical Machine Learning: A Convergence Comparison
Nagoya Institute of Technology(名古屋工业大学)
在过去的几十年里,机器学习已经彻底改变了大规模应用的数据处理。与此同时,趋势应用程序中越来越多的隐私威胁导致了对经典数据训练模型的重新设计。特别是,经典的机器学习涉及集中式数据训练,其中收集数据,整个训练过程在中央服务器上执行。尽管有显著的融合,但当与中央云服务器共享时,此培训涉及参与者数据的几个隐私威胁。为此,联邦学习在分布式数据训练中取得了显著的重要性。特别地,联邦学习允许参与者在本地数据上协作地训练本地模型,而不向中央云服务器泄露他们的敏感信息。在本文中,我们在两个公开可用的数据集,即逻辑回归-MNIST数据集和图像分类-CIFAR-10数据集上,对经典机器学习和联邦学习进行了收敛性比较。仿真结果表明,联邦学习在保持参与者匿名性的同时,在有限的通信轮数内实现了更高的收敛性。我们希望这项研究能够显示出它的好处,并帮助联邦学习得到广泛的实施。
2021-07-22 cs.DC cs.LG
Progressive Size-Adaptive Federated Learning: A Comprehensive Framework for Heterogeneous Multi-Modal Data Systems
本文提出基于数据集尺寸特征的渐进式自适应联邦学习框架SAFL,在13个多模态数据集上发现1000-1500样本为最优训练范围,实现87.68%平均准确率并显著降低通信开销。
2025-09-21 cs.AI cs.LG
Optimizing Federated Learning for Medical Image Classification on Distributed Non-iid Datasets with Partial Labels
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
许多大型胸部X射线数据集已经率先使用深度学习进行专家级异常检测。然而,这些数据集专注于检测可能存在的疾病标签的子集,从而使它们具有部分标签的分布式和非iid。最近的文献表明,由于与带有部分标签的非iid数据相关的域偏移,批量归一化层对联邦学习收敛的影响。为此,我们提出了FedFBN,这是一个联邦学习框架,它通过使用预训练网络作为模型后端并在整个训练过程中冻结批量归一化层,从迁移学习中汲取灵感。我们使用合成iid玩具数据集和具有部分和完整标签的大规模非iid数据集,使用当前FL策略评估FedFBN。我们的研究结果表明,FedFBN优于当前的聚合策略,用于使用带有部分标签的分布式和非iid数据训练全局模型。
2023-03-10 cs.AI cs.CV cs.LG
A Large-Scale Web Search Dataset for Federated Online Learning to Rank
Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
本文提出大规模网络搜索数据集 AOL4FOLTR,包含 260 万条查询和真实用户标识、点击及时间戳,以支持更真实的联邦在线学习排序基准测试和异步联邦学习场景。
2025-08-17 cs.AI cs.DC cs.IR
Federated Learning via Decentralized Dataset Distillation in Resource-Constrained Edge Environments
Technical University of Munich(慕尼黑工业大学);Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学);Fraunhofer IVI(弗劳恩霍夫交通与基础设施系统研究所)
提出单次通信的联邦学习框架 FedD3,通过客户端独立蒸馏并聚合本地数据集替代模型更新,大幅降低通信量并支持准确率与通信成本的平衡。
2023-05-19 cs.AI cs.CR cs.LG
FedJAX: Federated learning simulation with JAX
Google Research(谷歌研究院)
联邦学习是一种机器学习技术,可以跨分散的数据进行训练。最近,联邦学习已经成为一个活跃的研究领域,因为人们越来越关注隐私和安全。有鉴于此,各种开源联邦学习库已经开发并发布。我们介绍FedJAX,一个基于JAX的开源库,用于联邦学习模拟,强调研究中的易用性。凭借其用于实现联邦学习算法的简单原语、预打包的数据集、模型和算法以及快速的仿真速度,FedJAX旨在使研究人员更快、更容易地开发和评估联邦算法。我们的基准测试结果表明,FedJAX可用于训练模型,在EMNIST数据集上进行联邦平均只需几分钟,在Stack Overflow数据集上使用TPU使用标准超参数大约需要一个小时。
2021-11-06 cs.LG
Federated K-means Clustering
Delft University of Technology(代尔夫特理工大学);Delft Bioinformatics Lab(代尔夫特生物信息学实验室)
针对无监督联邦学习方法稀缺的问题,本文提出了一种联邦 K-means 聚类算法,解决了不同中心间聚类数量变化及弱可分数据集上的收敛挑战。
2024-02-16 cs.DC cs.LG
FedRS-Bench: Realistic Federated Learning Datasets and Benchmarks in Remote Sensing
Shanghai Jiao Tong University(上海交通大学)
针对遥感缺乏真实联邦数据集与统一基准的问题,本文构建覆盖八数据集、135个客户端的 FedRS,并实现10种 FL 算法形成 FedRS-Bench,以评估真实异构场景下的方法性能。
2025-05-13 cs.AI cs.LG
FeDaL: Federated Dataset Learning for General Time Series Foundation Models
本文提出FeDaL方法,通过联邦学习 paradigm 解决时间序列异质性问题,通过DBE和GBE机制消除偏差,验证了跨数据集泛化能力。
2026-03-15 cs.LG
TimberStrike: Dataset Reconstruction Attack Revealing Privacy Leakage in Federated Tree-Based Systems
Politecnico di Milano(米兰理工大学)
本文提出 TimberStrike 攻击,针对水平联邦树模型,利用决策树的分裂值和决策路径重构其他客户端的敏感训练数据,揭示了现有系统的隐私泄露风险。
2025-07-13 cs.CR cs.DC cs.LG
Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning
National Yang Ming Chiao Tung University(国立阳明交通大学)
该研究针对联邦学习中不完美数据集引发的问题,提出隐私保护的客户端贡献评分方法,实验验证了评估效果。
2026-08-04 cs.AI cs.LG
Federated Learning From Big Data Over Networks
Aalto University(阿尔托大学)
本文提出并研究了一种新的基于局部数据集的联邦学习算法。该算法利用了一个内在的网络结构,通过一个无向的“经验”图的本地数据集。我们使用网络线性回归模型对网络上的大数据进行建模。每个局部数据集都有单独的回归权重。局部数据集的紧密子集合的权重被强制为仅略微偏离。这自然会导致网络套索问题,我们使用原始-对偶方法解决这个问题。我们得到一个分布式的联邦学习算法通过消息传递实现这种原始-对偶方法。我们提供了一个详细的分析所产生的联邦学习算法的统计和计算特性。
2020-10-27 cs.LG
Byzantine-Robust Federated Machine Learning through Adaptive Model Averaging
Imperial College London(帝国理工学院)
联合学习能够在许多参与者的情况下大规模训练协作机器学习模型,同时保护其数据集的隐私。标准的联邦学习技术容易受到拜占庭式故障、有偏见的本地数据集和中毒攻击的影响。在本文中,我们介绍了自适应联邦平均,一种新的算法,强大的联邦学习,旨在检测故障,攻击和不良更新的参与者提供的协作模型。我们提出了一个隐马尔可夫模型来建模和学习每个参与者在训练过程中提供的模型更新的质量。与现有的强大的联邦学习计划相比,我们提出了一个强大的聚合规则,在每次训练迭代中检测和丢弃坏的或恶意的局部模型更新。这包括阻止不需要的参与者的机制,这也提高了计算和通信效率。我们在4个真实数据集上的实验评估表明,我们的算法对错误,噪声和恶意参与者的鲁棒性明显更强,同时比其他最先进的强大联邦学习方法(如Multi-KRUM和坐标中值)在计算上更有效。
2019-09-11 cs.DC cs.LG stat.ML
LotteryFL: Personalized and Communication-Efficient Federated Learning with Lottery Ticket Hypothesis on Non-IID Datasets
Duke University(杜克大学);Alibaba DAMO Academy(阿里巴巴达摩院)
联邦学习是一种流行的分布式机器学习范例,具有增强的隐私性。它的主要目标是学习一个全球模型,为尽可能多的参与者提供良好的性能。该技术正在快速发展,面临许多尚未解决的挑战,其中包括统计异质性(即,非IID)和通信效率是阻碍联邦学习发展的两个关键问题。在这项工作中,我们提出了LotteryFL -一个个性化和通信效率的联邦学习框架,通过利用彩票假设。在LotteryFL中,每个客户端学习彩票网络(即,基本模型的子网络),并且只有这些彩票网络将在服务器和客户端之间通信。与传统联邦学习中学习共享全局模型不同,每个客户端通过LotteryFL学习个性化模型;由于彩票网络的紧凑尺寸,通信成本可以显著降低。为了支持我们框架的训练和评估,我们考虑特征分布偏差、标签分布偏差和数量偏差,基于MNIST、CIFAR-10和EMNIST构建非IID数据集。在这些非IID数据集上的实验表明,LotteryFL在个性化和通信成本方面明显优于现有的解决方案。
2020-08-07 cs.DC cs.LG stat.ML
MammoFL: Mammographic Breast Density Estimation using Federated Learning
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院);GSK(葛兰素史克);Indiana University School of Medicine(印第安纳大学医学院);Mayo Clinic(梅奥诊所)
本研究提出MammoFL方法,用联邦学习训练U-Net实现多机构乳腺钼靶密度自动评估,在保护隐私的同时达到接近集中训练的泛化效果。
2023-12-14 cs.CV cs.DC cs.LG
Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases
University of Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心);IHU Strasbourg(斯特拉斯堡大学医院研究所)
深度学习方法的最新进展使计算机辅助更接近实现更安全的外科手术的承诺。然而,这种方法的通用性通常取决于来自多个医疗机构的不同数据集的训练,考虑到医疗数据的敏感性,这是一个限制性要求。最近提出的协作学习方法,如联邦学习(FL)允许在远程数据集上进行训练,而无需显式地共享数据。即便如此,数据注释仍然是一个瓶颈,特别是在经常需要临床专业知识的医学和外科领域。考虑到这些限制,我们提出了FedCy,一种联合半监督学习(FSSL)方法,它结合了FL和自监督学习来利用标记和未标记视频的分散数据集,从而提高了手术阶段识别任务的性能。通过利用标记数据中的时间模式,FedCy有助于引导对未标记数据的无监督训练,以学习用于相位识别的任务特定特征。我们证明了显着的性能增益超过国家的最先进的FSSL方法的任务,自动识别手术阶段使用新收集的多机构数据集的腹腔镜胆囊切除术视频。此外,我们还证明了我们的方法在对来自未知领域的数据进行测试时,还可以学习更多可推广的功能。
2022-12-28 cs.AI cs.CV cs.LG
Hierarchically Fair Federated Learning
Deakin University(迪肯大学)
当联邦学习在具有孤立数据集的竞争代理之间采用时,代理是自私的,并且只有当它们得到公平的奖励时才参与。为了鼓励联邦学习的应用,本文采用了一种管理策略,即,贡献越多,回报越多。我们提出了一种新的分层公平的联邦学习(HFFL)框架。在这一框架下,代理商将按其预先商定的贡献水平获得奖励。HFFL+扩展了这一点,以纳入异构模型。理论分析和几个数据集的实证评估证实了我们的框架在维护公平性,从而促进联邦学习在竞争环境中的有效性。
2020-05-01 cs.AI cs.CY cs.LG
Variational Federated Multi-Task Learning
ETH Zürich(苏黎世联邦理工学院)
在联邦学习中,中央服务器在大规模分布式设备网络上协调单个模型的训练。这种设置可以自然地扩展到多任务学习框架,以处理真实世界的联合数据集,这些数据集通常在设备之间显示出很强的统计异质性。尽管联邦多任务学习被证明是真实世界数据集的有效范例,但它仅应用于凸模型。在这项工作中,我们介绍了虚拟,联邦多任务学习一般非凸模型的算法。在VIRTUAL中,服务器和客户端的联合网络被视为星形贝叶斯网络,并使用近似变分推理在网络上进行学习。我们证明了这种方法在真实世界的联邦数据集上是有效的,优于当前最先进的联邦学习,同时允许稀疏梯度更新。
2021-02-04 cs.LG stat.ML
QuickDrop: Efficient Federated Unlearning by Integrated Dataset Distillation
EPFL(洛桑联邦理工学院);The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出 QuickDrop,将数据集蒸馏集成到联邦学习与遗忘流程中,通过蒸馏数据上的随机梯度上升实现高效、可扩展且准确率相当的联邦遗忘。
2024-12-06 cs.AI cs.LG
FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出FedLLM-Bench,一个包含8种训练方法、4个数据集和6项评估指标的大语言模型联邦学习现实基准,覆盖指令微调与偏好对齐,客户端规模达38至747,旨在提供实用测试平台并促进公平比较。
2024-06-07 cs.AI cs.CL cs.DC
Federated Learning on Virtual Heterogeneous Data with Local-global Distillation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(矢量研究所);NVIDIA(英伟达公司)
本文提出FedLGD方法,通过局部-全局数据集蒸馏生成虚拟数据,以迭代分布匹配和联邦梯度匹配缓解联邦学习中的数据异构问题,在多种场景下优于现有方法。
2025-03-12 cs.AI cs.LG
The Effect of Training Parameters and Mechanisms on Decentralized Federated Learning based on MNIST Dataset
Georgia Institute of Technology(佐治亚理工学院)
联邦学习是一种适合在分散数据上训练模型的算法,但对中央“服务器”节点的要求是一个瓶颈。在本文中,我们首先介绍了分散式联邦学习(DFL)的概念。然后,我们在不同的设置上进行各种实验,例如改变模型聚合频率,从独立同分布(IID)数据集分区切换到部分全局共享的非IID分区,在客户端之间使用不同的优化方法,以及将模型分解为部分共享的片段。所有实验都在MNIST手写数字数据集上运行。我们观察到,这些改变的训练程序通常是健壮的,尽管不是最佳的。当模型权重之间的方差太大时,我们也观察到训练失败。开源实验代码可通过GitHub \footnote{Code was uploaded at \url{https://github.com/zhzhang2018/DecentralizedFL}}访问。
2021-08-07 cs.LG
Secure Bayesian Federated Analytics for Privacy-Preserving Trend Detection
Xayn AG(Xayn公司);Imperial College London(帝国理工学院)
联合分析在边缘计算中有许多应用,它的使用可以为服务提供、产品开发和用户体验带来更好的决策。我们提出了一种贝叶斯方法的趋势检测,其中一个关键字是时髦的概率,给定一个数据集,通过贝叶斯定理计算;数据集的概率,给定一个关键字是时髦的,通过安全的聚合这样的条件概率在本地数据集的用户计算。我们提出了一个名为SAFE的贝叶斯联邦分析协议,为生产级用例提供足够的隐私,并减少用户和聚合器的计算负担。我们用一个趋势检测实验来说明这种方法,并讨论如何进一步扩展这种方法,使其为生产做好准备。
2021-07-28 cs.AI cs.CR cs.LG
What Do We Mean by Generalization in Federated Learning?
Stanford University(斯坦福大学);Google Research(谷歌研究院)
联邦学习数据来自分布的分布:客户端来自元分布,其数据来自本地数据分布。因此,联邦学习中的泛化研究应该将来自看不见的客户端数据的性能差距(样本外差距)与来自看不见的客户端分布的性能差距(参与差距)分开。在这项工作中,我们提出了一个框架来解开这些性能差距。使用这个框架,我们观察并解释了自然和合成联邦数据集之间的行为差异,表明数据集合成策略对于联邦学习中泛化的真实模拟非常重要。我们提出了一种语义合成策略,使逼真的模拟没有自然分区的数据。根据我们的发现,我们呼吁社区对未来的联邦学习工作提出建议。
2022-03-16 cs.DC cs.LG stat.ML
DRAGD: A Federated Unlearning Data Reconstruction Attack Based on Gradient Differences
Beijing Jiaotong University(北京交通大学)
本文提出DRAGD及其增强版DRAGDP,通过利用联邦遗忘前后梯度差异重构被删除数据,揭示隐私漏洞并显著优于现有方法。
2025-07-13 cs.AI cs.LG
Real-World Image Datasets for Federated Learning
WeBank Co. Ltd.(微众银行);Hong Kong University of Science and Technology(香港科技大学);Extreme Vision Co. Ltd.(极视角科技有限公司);South China University of Technology(华南理工大学);Shenzhen University(深圳大学)
联邦学习是一种新的机器学习范式,它允许数据各方协作构建机器学习模型,同时保持数据的安全性和私密性。虽然在过去的两年里,联邦学习的研究工作得到了极大的发展,但由于缺乏从真实世界边缘应用程序生成的高质量标记数据,大多数现有的工作仍然依赖于预先存在的公共数据集和人工分区来模拟数据联邦。因此,联邦学习的基准和模型评估的进展一直滞后。在本文中,我们介绍了一个真实世界的图像数据集。该数据集包含由26个街道摄像机和7个对象类别生成的900多幅图像,并使用详细的限界框进行了注释。数据分布是非IID和不平衡的,反映了典型的现实世界联邦学习场景。基于这个数据集,我们实现了两种主流的目标检测算法(YOLO和Faster R-CNN),并在联邦学习环境中提供了关于模型性能、效率和通信的广泛基准。数据集和算法都是公开的。
2021-01-05 cs.CV cs.LG stat.ML
Federated Survival Forests
Politecnico di Milano(米兰理工大学)
本文提出联邦生存森林 FedSurF,基于随机生存森林实现单轮通信的高效联邦生存分析,在非独立同分布数据环境下以低计算成本超越深度学习联邦算法。
2023-08-07 cs.LG
VertiBench: Advancing Feature Distribution Diversity in Vertical Federated Learning Benchmarks
National University of Singapore(新加坡国立大学)
针对纵向联邦学习基准中特征分布多样性不足的问题,本文提出特征重要性与相关性两个关键因素及相应评估指标和划分方法,并引入真实数据集,为算法评估提供更全面的基准。
2024-03-13 cs.AI cs.LG
Accelerating Fair Federated Learning: Adaptive Federated Adam
Uppsala University(乌普萨拉大学)
联邦学习是一种分布式和隐私保护的方法,用于从不同方的分散数据协作地训练统计模型。然而,当参与者的数据集不是独立和同分布的(非IID)时,由朴素联邦算法训练的模型可能偏向于某些参与者,并且参与者之间的模型性能是不均匀的。这被称为联邦学习中的公平性问题。在本文中,我们制定公平控制的联邦学习作为一个动态的多目标优化问题,以确保所有参与者的公平性能。为了有效地解决这一问题,本文研究了Adam作为联邦学习服务器优化器的收敛性和偏差,提出了自适应联邦Adam(AdaFedAdam)算法,在减轻偏差的同时加速公平的联邦学习。我们验证了AdaFedAdam的有效性,Pareto最优性和鲁棒性的数值实验,并表明AdaFedAdam优于现有的算法,提供更好的收敛性和公平性的联邦计划。
2023-01-23 cs.DC cs.LG
SphereFed: Hyperspherical Federated Learning
Harvard University(哈佛大学);UT Dallas(德克萨斯大学达拉斯分校)
联邦学习旨在从多个分散的设备(即客户端)训练全局模型,而无需交换其私有本地数据。一个关键的挑战是如何处理非独立身份证。(独立同分布的)跨多个客户端的数据,这可能引起它们的局部特征的差异。我们引入超球面联邦学习(SphereFed)框架来解决非独立同分布问题。通过将学习到的数据点的表示约束在由客户端共享的单位超球体上来发布。具体来说,所有客户端通过最小化相对于其权重跨越单位超球体的固定分类器的损失来学习其本地表示。在改进全局模型的联邦训练之后,通过最小化均方损失,用封闭形式的解进一步校准该分类器。我们表明,校准解决方案可以有效地计算和分布式,而无需直接存取的本地数据。大量的实验表明,我们的SphereFed方法能够大幅提高多个现有联邦学习算法的准确性(在具有挑战性的数据集上高达6%),并提高数据集和模型架构之间的计算和通信效率。
2022-07-19 cs.AI cs.CV cs.DC
FedScale: Benchmarking Model and System Performance of Federated Learning at Scale
University of Michigan(密歇根大学);University of Washington(华盛顿大学)
我们提出FedScale,一个联邦学习(FL)基准测试套件,具有真实的数据集和可扩展的运行时,以实现可重复的FL研究。FedScale数据集涵盖了广泛的关键FL任务,从图像分类和目标检测到语言建模和语音识别。每个数据集都有一个统一的评估协议,使用真实世界的数据分割和评估指标。为了重现真实的FL行为,FedScale包含一个可伸缩和可扩展的运行时。它提供高级API来实现FL算法,在不同的硬件和软件后端中大规模部署它们,并大规模评估它们,所有这些都需要最少的开发人员工作。我们将两者结合起来,进行系统的基准测试实验,并强调FL中异质性感知协同优化的潜在机会。FedScale是开源的,并由来自http://fedscale.ai的不同机构的贡献者积极维护。我们欢迎来自社区的反馈和贡献。
2022-06-18 cs.AI cs.DC cs.LG
Suppressing Noise from Built Environment Datasets to Reduce Communication Rounds for Convergence of Federated Learning
IIT (BHU) Varanasi(印度理工学院(瓦拉纳西巴纳拉斯印度教大学));Missouri S&T(密苏里科技大学)
智能传感为建筑环境中的监测和控制提供了更简单方便的数据驱动机制。在建筑环境中生成的数据是隐私敏感和有限的。联邦学习是一种新兴的范式,它在多个参与者之间提供隐私保护的协作,以进行模型训练,而无需共享私有和有限的数据。参与者数据集中的噪声标签降低了性能,并增加了联邦学习收敛的通信轮数。如此大的通信轮次,需要更多的时间和精力来训练模型。在本文中,我们提出了一种联邦学习方法来抑制每个参与者的数据集中的噪声标签的不均匀分布。该方法首先估计每个参与者的数据集的噪声比,并使用服务器数据集对噪声比进行归一化。所提出的方法可以处理服务器数据集中的偏差,并最大限度地减少其对参与者数据集的影响。接下来,我们使用归一化噪声比和每个参与者的影响来计算参与者的最佳加权贡献。我们进一步推导出表达式来估计所提出的方法的收敛所需的通信轮数。最后,实验结果表明,所提出的方法的有效性,现有的技术在通信轮,并在建筑环境中实现的性能。
2022-09-03 cs.LG
Asynchronous Federated Learning with non-convex client objective functions and heterogeneous dataset
Helmholtz Center for Environmental Research-UFZ(海德堡环境研究中心-UFZ);Department of Electrical Engineering and Information Technology, University of Naples(那不勒斯大学电气工程与信息技术系)
本文扩展异步联邦学习以处理非凸目标函数和异构数据,提出陈旧度感知聚合与动态学习率调度,并给出收敛性分析,实验验证了性能提升。
2025-08-03 cs.DC cs.LG
Siloed Federated Learning for Multi-Centric Histopathology Datasets
Owkin, Inc.(Owkin公司)
虽然联邦学习是在分布式敏感数据集上训练深度学习模型的一种有前途的方法,但它为机器学习提出了新的挑战,特别是当应用于多中心数据异构性常见的医疗领域时。基于以前的领域自适应工作,本文提出了一种新的深度学习架构的联邦学习方法,通过引入局部统计批量归一化(BN)层,从而产生协同训练的,但特定于中心的模型。此策略提高了对数据异构性的鲁棒性,同时还通过不共享特定于中心的层激活统计信息来降低信息泄漏的可能性。我们基准所提出的方法对从Camelyon16和Camelyon17数据集提取的肿瘤组织病理学图像块的分类。我们表明,我们的方法与以前的最先进的方法相比,特别是对于跨数据集的迁移学习。
2020-08-17 cs.CV cs.LG eess.IV
Evaluation Framework For Large-scale Federated Learning
Zhejiang University(浙江大学)
联邦学习被提出作为机器学习设置,以使分布式边缘设备(如手机)能够协作学习共享的预测模型,同时将所有训练数据保持在设备上,这不仅可以充分利用分布在数百万个节点上的数据来训练良好的模型,而且还可以保护数据隐私。然而,上述情景中的学习提出了新的挑战。事实上,大量不可靠设备上的数据很可能是非IID(相同且独立分布)的,这可能会使联邦学习训练的模型的性能不稳定。在本文中,我们介绍了一个框架设计的大规模联邦学习,其中包括数据集的生成方法和模块化的评估框架。首先,我们构建了一套开源的非IID数据集,提供了三个方面,包括协变量偏移,先验概率偏移,概念偏移,这是在现实世界的假设为基础。此外,我们还设计了包括网络节点数、数据集大小、通信轮数和通信资源等在内的严格的评估指标。最后,我们提出了一个面向大规模联邦学习研究的开源基准。
2020-03-12 cs.DC cs.LG stat.ML
Federated Learning with Dynamic Transformer for Text to Speech
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
文本到语音(TTS)是用户交互的关键任务,但TTS模型训练依赖于大量高质量的原始数据集。由于隐私和安全问题,原始数据集通常无法直接使用。最近,联邦学习提出了一种流行的分布式机器学习范式,具有增强的隐私保护机制。它为数据所有者提供了一个实用而安全的框架,以便与其他人合作,从而获得在更大数据集上训练的更好的全局模型。然而,由于Transformer模型的高度复杂性,在联邦学习设置中,收敛过程变得缓慢且不稳定。此外,在联邦学习中训练的Transformer模型是昂贵的通信和有限的客户端计算速度,阻碍了其普及。为了应对这些挑战,我们提出了联邦动态Transformer。一方面,与联邦transformer Transformer相比,性能有了很大的提高,随着客户端数量的增加,性能接近集中训练的transformer-TTS。另一方面,它在训练阶段实现了更快,更稳定的收敛,并显着减少了通信时间。在LJSpeech数据集上的实验也有力地证明了该方法的优越性。
2021-07-09 cs.LG
Poisoning Attacks and Defenses in Federated Learning: A Survey
Deakin University(迪肯大学)
联邦学习(FL)能够在分布式客户端之间训练模型,而不会损害训练数据集的隐私,但客户端数据集和训练过程的不可见性会带来各种安全威胁。本调查提供了中毒攻击的分类和实验评估,以讨论健壮的FL的必要性。
2023-01-14 cs.CR cs.LG
Dataset Distillation-based Hybrid Federated Learning on Non-IID Data
College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China(浙江工业大学信息工程学院,杭州 310023,中国);Zhejiang Key Laboratory of Intelligent Perception and Control for Complex Systems, Hangzhou, China(浙江省复杂系统智能感知与控制重点实验室,杭州,中国);College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China(浙江大学控制科学与工程学院,杭州 310027,中国);Computing Science and Internet of Things, Newcastle University, NE1 7RU Newcastle, UK(新castle大学计算科学与物联网学院,NE1 7RU Newcastle, UK)
本文提出HFLDD框架,通过数据集蒸馏生成近似独立等分布数据,缓解非IID数据对模型训练的影响,实验表明在严重类别不平衡时提升测试准确率和通信效率。
2026-03-24 cs.AI cs.LG
Clustered Federated Learning via Generalized Total Variation Minimization
本文提出将联邦学习表述为广义全变差最小化,并设计一种完全分散的原始-对偶算法,在理论上界定了与聚类基准方法的偏差,从而有效训练个性化模型。
2023-06-18 cs.DC cs.LG stat.ML
FedNIA: Noise-Induced Activation Analysis for Mitigating Data Poisoning in Federated Learning
University of Windsor(温莎大学);University of New Brunswick(新不伦瑞克大学)
针对联邦学习中的数据投毒攻击,提出无需中央测试集的FedNIA防御框架,通过注入噪声并分析逐层激活模式来识别恶意客户端,实验验证其对多种攻击有效。
2026-09-23 cs.AI cs.CR cs.LG
FeDa4Fair: Client-Level Federated Datasets for Fairness Evaluation
Institute of Computer Science, Johannes Gutenberg University(约翰内斯·古滕贝格大学计算机科学研究所);University of Pisa(比萨大学)
本文提出FeDa4Fair框架,旨在解决联邦学习中客户端层面的公平性问题,通过定制化数据集和标准化评估流程提升公平性研究的鲁棒性和可重复性。
2026-05-09 cs.AI cs.LG
Analysis of Total Variation Minimization for Clustered Federated Learning
Aalto University(阿尔托大学)
本文针对联邦学习中本地数据统计异质性问题,分析了广义全变分最小化(GTVMin)方法,并在聚类假设下推导出其解与簇内平均值偏差的上界,为该方法在聚类联邦学习中的有效性和鲁棒性提供了理论依据。
2024-07-31 cs.LG
FLAIR: Federated Learning Annotated Image Repository
Apple(苹果公司)
跨设备联邦学习是一种新兴的机器学习(ML)范例,其中大量设备共同训练ML模型,而数据保留在设备上。这一研究领域面临着一系列独特的实际挑战,为了系统地取得进展,需要与这一范式兼容的新数据集。图像领域现有的联邦学习基准测试无法准确捕捉许多真实用例的规模和异构性。我们介绍了FLAIR,这是一个具有挑战性的大规模注释图像数据集,用于多标签分类,适合于联邦学习。FLAIR拥有来自51,414名Flickr用户的429,078张图像,并捕获了联邦学习中通常遇到的许多复杂问题,例如异构用户数据和长尾标签分布。我们在不同的学习设置中为这个数据集上的不同任务实现了多个基线。我们相信FLAIR可以作为一个具有挑战性的基准,推动联邦学习的发展。在\url{https://github.com/apple/ml-flair}上可以获得数据集访问和基准测试的代码。
2022-07-18 cs.CR cs.CV cs.LG
DESED-FL and URBAN-FL: Federated Learning Datasets for Sound Event Detection
Fraunhofer Institute for Digital Media Technology(弗劳恩霍夫数字媒体技术研究所)
近年来,环境背景下的声音事件检测(SED)研究受到越来越多的关注。所需的大量(私人)家庭或城市音频数据引起了重大的后勤和隐私问题。这些任务固有的分布式性质使联邦学习(FL)成为一种很有前途的方法,可以利用大规模数据,同时减轻隐私问题。虽然最近外语也受到了越来越多的关注,但据我们所知,还没有针对外语用于SED的研究。为了解决这一差距,并促进在这一领域的进一步研究,我们创建并发布了新的FL数据集,用于国内和城市环境中的SED。此外,我们提供了三个深度神经网络架构的FL上下文中的数据集的基线结果。结果表明,FL是一种很有前途的SED方法,但面临着分布式客户端边缘设备固有的不同数据分布的挑战。
2021-05-31 cs.DC cs.LG cs.SD
Hierarchical Federated Learning Across Heterogeneous Cellular Networks
Imperial College London(帝国理工学院);Sabanci University(萨班哲大学)
我们研究跨无线设备的协作机器学习(ML),每个设备都有自己的本地数据集。由于延迟、带宽和隐私限制,将这些数据集卸载到云或边缘服务器以实现强大的ML解决方案通常是不可行的。相反,我们考虑联合边缘学习(FEEL),其中设备共享模型参数的本地更新,而不是它们的数据集。我们考虑一个异构蜂窝网络(HCN),其中小小区基站(SBS)编排FL之间的移动用户(MU)在其小区内,并定期交换模型更新与宏基站(MBS)的全球共识。我们采用梯度稀疏化和周期平均,以提高这种分层联邦学习(FL)框架的通信效率。然后,我们使用CIFAR-10数据集表明,所提出的分层学习解决方案可以在不牺牲模型准确性的情况下显着减少通信延迟。
2019-09-05 cs.DC cs.IT cs.LG
A Universal Metric of Dataset Similarity for Cross-silo Federated Learning
Department of Biomedical Informatics, Columbia University, NY, USA(生物医学信息学系,哥伦比亚大学);New York Genome Center, NY, USA(纽约基因中心);Department of Computer Science, Columbia University, NY, USA(计算机科学系,哥伦比亚大学)
本文提出一种数据集无关、隐私保护且计算高效的联邦学习数据集相似性度量,建立其与训练动态的理论联系,并在多类数据集上验证其与模型性能的稳健关系,以促进站点协作。
2025-10-06 cs.LG
Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners
Massachusetts Institute of Technology(麻省理工学院)
垂直联邦学习(Vertical Federated Learning,VFL)是指在数据集上协作训练模型,其中数据集的特征在多个数据所有者之间划分,而标签信息由单个数据所有者拥有。在本文中,我们提出了一种新的方法,多垂直联邦学习(多VFL),训练VFL模型时,有多个数据和标签所有者。我们的方法是第一个考虑$D$ -数据所有者(分布特征)和$K$ -标签所有者(分布标签)存在的设置。这种建议的配置允许不同的实体训练和学习最佳模型,而不必共享它们的数据。我们的框架利用分裂学习和自适应联邦优化器来解决这个问题。为了进行实证评估,我们在MNIST和FashionMNIST数据集上进行了实验。我们的研究结果表明,使用自适应优化器的模型聚合的收敛性和提高精度。
2021-06-17 cs.LG