Federated Learning for Wireless Communications: Motivation, Opportunities and Challenges
Virginia Tech(弗吉尼亚理工学院)
在无线通信社区中,人们越来越有兴趣用基于数据驱动的机器学习(ML)的解决方案来补充传统的基于模型的设计方法。虽然传统的ML方法依赖于在中央实体中具有数据和处理头的假设,但这在无线通信应用中并不总是可行的,因为私有数据的不可访问性和将原始数据传输到中央ML处理器所需的大的通信开销。因此,将数据保存在生成位置的分散式ML方法更具吸引力。由于其隐私保护的性质,联邦学习与许多无线应用特别相关,特别是在第五代(5G)网络的背景下。在这篇文章中,我们提供了一个方便的介绍联邦学习的一般思想,讨论了在5G网络中的几个可能的应用,并描述了关键的技术挑战和开放的问题,为未来的研究联邦学习的背景下,无线通信。
2020-05-03 cs.LG eess.SP stat.ML
Vertical Federated Learning for Failure-Cause Identification in Disaggregated Microwave Networks
Department of Electronics, Information and Bioengineering, Politecnico di Milano(电子、信息与生物工程系,米兰理工大学)
本文提出利用垂直联邦学习在解构微波网络中识别故障原因,通过SplitNNs和FedTree方法对比集中式方案,实现高效故障管理并保障数据安全。
2025-02-05 cs.AI cs.DC cs.LG
Get Rid Of Your Trail: Remotely Erasing Backdoors in Federated Learning
New York University Abu Dhabi(纽约大学阿布扎比分校);École nationale supérieure d’informatique(国立高等计算机学院)
本文面向联邦学习中的攻击者,提出基于机器遗忘的远程后门擦除方法,在保持模型性能、避免无关信息过度遗忘的同时隐蔽消除最先进攻击注入的后门。
2023-04-20 cs.CR cs.LG
Compression Boosts Differentially Private Federated Learning
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);BME-HIT(布达佩斯技术与经济大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
联邦学习允许分布式实体协作地训练公共模型,而无需共享它们自己的数据。虽然它通过仅交换参数更新来防止数据汇集和聚合,但是它仍然容易受到各种推断和重建攻击,其中恶意实体可以从捕获的梯度中学习关于参与者的训练数据的私有信息。差分隐私是用来获得理论上健全的隐私保证,对这种推理攻击的噪声交换的更新向量。然而,增加的噪声与模型大小成比例,对于现代神经网络,模型大小可以非常大。这可能导致模型质量差。在本文中,压缩感知被用来减少模型的大小,从而提高模型的质量,而不牺牲隐私。我们使用2个数据集进行了实验,结果表明,与传统的非私有联邦学习方案相比,我们的隐私保护方案可以减少高达95%的通信成本,而性能损失可以忽略不计。
2020-11-10 cs.CR cs.LG
Improving the Robustness of Federated Learning for Severely Imbalanced Datasets
随着数据量的不断增加和深度神经网络的成功,分布式深度学习的研究变得越来越重要。实现这种分布式学习的两种常见方法是同步和异步权重更新。在本文中,我们探索了非常简单的同步权重更新机制。已经看到,随着工作节点数量的增加,性能急剧下降。这种效应已经在极端不平衡分类(例如离群值检测)的背景下进行了研究。在实际情况下,i.i.d.可能无法实现。还可能出现全局类不平衡的情况,如离群值检测,其中本地服务器接收严重不平衡的数据,并且可能无法从少数类中获得任何样本。在这种情况下,本地服务器中的DNN将完全偏向于它们接收的多数类。这将严重影响参数服务器的学习(实际上看不到任何数据)。已经观察到,在并行设置中,如果在参数服务器处使用现有的联合权重更新机制,则性能随着工作节点的数量的增加而急剧下降。这主要是因为,随着节点数量的增加,一个工作节点很有可能获得非常小的数据部分,要么不足以在不过度拟合的情况下训练模型,要么具有高度不平衡的类分布。因此,本章提出了一个解决这个问题的方法,引入自适应成本敏感的动量平均的概念。可以看出,对于所提出的系统,没有到最小的性能下降,而大多数其他方法在此之前达到了它们的最低性能。
2022-04-28 cs.LG
Federated Learning over Harmonized Data Silos
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
针对联邦学习中各数据孤岛模式与格式不一致的挑战,提出结合数据协调与填补的端到端联邦学习与集成系统架构愿景,以促进数据管理与机器学习交叉领域研究。
2023-05-15 cs.AI cs.DC cs.LG
FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning
University of Iowa(爱荷华大学);University of Virginia(弗吉尼亚大学);New York University(纽约大学);Arizona State University(亚利桑那州立大学)
本文提出FedPAE,一种完全去中心化的个性化联邦学习算法,通过点对点模型共享与集成选择支持模型异构和异步训练,在多样化客户端能力下优于现有方法并具有统计异构鲁棒性。
2024-10-17 cs.LG
FedFm: Towards a Robust Federated Learning Approach For Fault Mitigation at the Edge Nodes
IIT Delhi(印度理工学院德里分校);University of Cambridge(剑桥大学);UQIDAR, IIT Delhi(印度理工学院德里分校 UQIDAR)
联邦学习从“将数据发送到模型”到“将模型发送到数据”的规范。当在边缘生态系统中使用时,通过不同方式收集数据并通过不同网络通道连接的众多异构边缘设备都会参与训练过程。在这样的生态系统中,由于设备故障或网络问题而导致的边缘设备故障的可能性很高。在本文中,我们首先分析了边缘设备的数量对FL模型的影响,并提供了一种策略来选择对模型有贡献的最佳设备数量。我们观察边缘生态系统在所选设备发生故障时的行为,并提供缓解策略以确保强大的联邦学习技术。
2021-11-01 cs.LG
Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges
University of Murcia(穆尔西亚大学);University of Zurich(苏黎世大学);Armasuisse Science and Technology(瑞士联邦国防采购局科技部门)
本文系统梳理去中心化联邦学习的基础要素、优化机制、现有框架与应用场景,并总结其发展趋势与开放挑战。
2023-09-13 cs.CR cs.DC cs.LG
Implicit Model Specialization through DAG-based Decentralized Federated Learning
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学);Charité – Universitätsmedizin Berlin(夏里特医学院)
联邦学习允许一组分布式客户端在私有数据上训练公共机器学习模型。模型更新的交换由中央实体或分散的方式(例如区块链)管理。然而,所有客户端的强泛化使得这些方法不适合非独立和同分布(非IID)数据。我们提出了一个统一的方法,分散和个性化的联邦学习,是基于有向无环图(DAG)的模型更新。客户端不是训练单个全局模型,而是专注于其本地数据,同时根据其各自数据的相似性使用来自其他客户端的模型更新。这种专门化隐含地出现在基于DAG的通信和模型更新的选择中。因此,我们实现了专门模型的发展,这些模型专注于数据的一个子集,因此比集中式或基于区块链的设置中的联邦学习更好地覆盖非IID数据。据我们所知,所提出的解决方案是第一个在完全分散的联邦学习中将个性化和中毒鲁棒性结合起来的解决方案。我们的评估表明,模型的专业化直接来自三个不同数据集上基于DAG的模型更新通信。此外,与联邦平均相比,我们显示了稳定的模型准确性和更小的客户端方差。
2021-11-03 cs.DC cs.LG
De-VertiFL: A Solution for Decentralized Vertical Federated Learning
University of Zurich(苏黎世大学);University of Murcia(穆尔西亚大学);armasuisse Science & Technology(Armasuisse科学技术部)
本文提出De-VertiFL,一种去中心化纵向联邦学习方案,通过新的网络架构分布、隐藏层输出共享与分布式训练过程提升学习效率,并在多类数据集上取得优于现有方法的F1-score表现。
2025-02-04 cs.LG
FedPrune: Towards Inclusive Federated Learning
LUMS(拉合尔管理科学大学)
联邦学习(FL)是一种分布式学习技术,它以隐私保护的方式在分布式数据上训练共享模型。不幸的是,FL的性能下降时,有(i)在计算和内存资源(系统异构性)和(ii)非IID数据分布在客户端(统计异构性)方面的客户端特性的变化。例如,在FL方案中,慢客户端会被丢弃,例如Federated Averaging(FedAvg),这不仅限制了整体学习,而且会使结果偏向于快客户端。我们提出FedPrune,一个系统,通过修剪慢客户端的设备特性的基础上的全球模型来应对这一挑战。通过这样做,慢客户端可以快速训练一个小模型并参与FL,从而提高测试的准确性和公平性。通过使用中心极限定理的见解,FedPrune采用了一种新的聚合技术,该技术在非IID数据上实现了强大的性能。实验结果表明,与联邦平均算法相比,Federated- Prune算法具有更好的公平性和鲁棒性.
2021-10-27 cs.LG
Federated Learning for Water Consumption Forecasting in Smart Cities
Mohammed V University in Rabat(拉巴特穆罕默德五世大学);ENSIAS(国家高等信息与系统分析学院(拉巴特穆罕默德五世大学下属,按独立机构提取为ENSIAS,中文暂译:国家高等信息与系统分析学院));Al Akhawayn University in Ifrane(伊夫兰阿卡韦恩大学);School of Science and Engineering(科学与工程学院)
水的消耗仍然是世界未来挑战中的一个主要关切。对于负载监控和需求响应等应用,深度学习模型使用智能城市中的大量消费数据进行训练。一方面,所使用的信息是私人的。例如,作为消费者住宅处的系统物联网架构的一部分的智能电表收集的精确信息可以提供有关电器的详细信息,从而提供消费者在家中的行为。另一方面,深度学习模型需要具有足够变化的巨大数据量才能正确训练。本文介绍了一种新的模型,用于智能城市的用水量预测,同时保护每月用水量的隐私。所提出的方法利用联邦学习(FL)作为一种机器学习范例,旨在以分布式方式训练机器学习模型,同时避免与中央训练设施共享用户数据。此外,这种方法有希望通过降低用户和中心实体之间的数据传输频率来降低开销利用率。大量的模拟表明,所提出的方法显示出不同的家庭用水量的预测增强。
2023-01-30 cs.LG
Federated Multilingual Models for Medical Transcript Analysis
Microsoft Corporation(微软公司)
联邦学习(FL)是一种新颖的机器学习方法,它允许模型训练器通过在多个分散的数据源上训练模型来访问更多的数据样本,同时数据访问约束已经到位。这样的训练模型可以实现比在单个数据源上训练时更高的性能。作为FL承诺的一部分,任何训练数据都不会传输到任何中央位置,确保敏感数据保持本地和私密。这些特性使FL非常适合医疗保健中的大规模应用,其中各种合规性约束限制了数据的处理,处理和存储方式。尽管联邦学习有明显的好处,但本地数据分布的异质性带来了巨大的挑战,这种挑战在多语言数据提供者的情况下更加明显。在本文中,我们提出了一个联邦学习系统,用于训练一个大规模的多语言模型,适用于微调下游任务,如医疗实体标记。我们的工作代表了第一批这样的生产规模系统之一,能够在多个高度异构的数据提供者之间进行培训,并实现通过使用公共数据的中央培训无法实现的准确性水平。最后,我们证明了全局模型的性能可以通过局部执行的训练步骤进一步提高。
2022-11-04 cs.CL cs.LG
FedEP: Tailoring Attention to Heterogeneous Data Distribution with Entropy Pooling for Decentralized Federated Learning
University of Zurich(苏黎世大学);armasuisse Science & Technology(Armasuisse科学与技术局)
本文针对去中心化联邦学习中的 non-IID 数据与客户端漂移问题,提出 FedEP,利用 GMM 与熵池机制融合本地及邻域分布信息以计算聚合权重,在保护隐私、降低通信开销的同时提升收敛速度和性能。
2025-01-06 cs.LG
Entity Augmentation for Efficient Classification of Vertically Partitioned Data with Limited Overlap
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
提出Entity Augmentation技术,消除VFL中对set intersection和entity alignment的需求,在有限重叠数据下显著提升分类性能并降低计算成本。
2024-06-25 cs.CV cs.DC cs.LG
EFMVFL: An Efficient and Flexible Multi-party Vertical Federated Learning without a Third Party
InsightOne Tech Co, Ltd(InsightOne科技有限公司)
针对现有VFL框架依赖第三方且通信开销大或不适用于多方的问题,结合秘密共享与同态加密提出无需第三方的EFMVFL框架,支持低通信开销的多方灵活扩展,适用于广义线性模型,实验证明其安全高效。
2022-01-17 cs.CR cs.LG
Shuffled Model of Federated Learning: Privacy, Communication and Accuracy Trade-offs
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Google Research(谷歌研究院)
我们考虑一个分布式的经验风险最小化(ERM)优化问题的通信效率和隐私的要求,由联邦学习(FL)框架的动机。在FL的背景下,传统的企业风险管理问题面临的独特挑战包括:(i)需要为客户的数据提供隐私保证,(ii)压缩客户与服务器之间的通信,因为客户可能有低带宽的链接,(iii)在服务器与客户之间的每一轮通信中与动态的客户群体一起工作,因为每一轮都对一小部分客户进行抽样。为了解决这些挑战,我们开发(最佳)的通信效率计划的私人均值估计几个$\ell_p$空间,使有效的梯度聚合的ERM的优化解决方案的每次迭代。我们还提供了下限和上限的均值估计与隐私和通信的限制,任意$\ell_p$空间。为了获得整体通信、隐私和优化性能操作点,我们将其与该设置固有的隐私放大机会相结合。我们的解决方案利用了客户端采样和每个客户端的数据采样(通过随机梯度下降)提供的固有隐私放大,以及最近开发的使用匿名化的隐私框架,它有效地向服务器提供了相对于客户端随机洗牌的响应。把这些放在一起,我们证明,人们可以得到相同的隐私,优化性能的操作点,在最近的方法,使用全精度通信,但在一个低得多的通信成本,即,有效地获得了“免费”的通信效率。
2020-09-23 cs.IT cs.LG math.IT
Federated Learning for Malware Detection in IoT Devices
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of Murcia(穆尔西亚大学);University of Zurich UZH(苏黎世大学);Cyber-Defence Campus, armasuisse Science & Technology(瑞士国防部科技局网络防御校区)
这项工作调查了联邦学习在物联网恶意软件检测方面的可能性,并研究了这种新学习范式所固有的安全问题。在此背景下,提出了一种使用联邦学习来检测影响IoT设备的恶意软件的框架。N-BaIoT是一个数据集,对受恶意软件影响的几个真实物联网设备的网络流量进行建模,已被用于评估所提出的框架。有监督和无监督的联邦模型(多层感知器和自动编码器)都能够检测影响N-BaIoT可见和不可见物联网设备的恶意软件。此外,他们的表现进行了比较,两个传统的方法。第一种是让每个参与者只使用自己的数据在本地训练模型,而第二种是让参与者与负责训练全局模型的中央实体共享数据。这种比较表明,使用更多样化和更大的数据,如在联邦和集中式方法中所做的那样,对模型性能有相当大的积极影响。此外,联邦模型,同时保护参与者的隐私,表现出类似的结果集中的。作为一个额外的贡献,并衡量联邦方法的鲁棒性,一个对抗性的设置与几个恶意参与者中毒的联邦模型已被考虑。在大多数联邦学习算法中使用的基线模型聚合平均步骤似乎非常容易受到不同的攻击,即使是单一的对手。因此,在相同的攻击场景下,作为对策的其他模型聚合功能的性能进行评估。这些功能提供了针对恶意参与者的显著改进,但是仍然需要更多的努力来使联邦方法健壮。
2021-11-19 cs.CR cs.LG
Private Cross-Silo Federated Learning for Extracting Vaccine Adverse Event Mentions
Oracle Labs(甲骨文实验室);Oracle(甲骨文公司)
联邦学习(FL)正在迅速成为一个goto分布式训练范例,用户联合训练一个全球模型,而无需物理共享他们的数据。用户可以间接地对用于训练全局模型的大得多的聚合数据语料库做出贡献,并且直接受益于该数据语料库。然而,在现实世界中的问题设置FL的成功应用的文献是有点稀疏。在本文中,我们描述了我们的经验,应用FL为基础的解决方案的命名实体识别(NER)任务的大规模疫苗接种计划的背景下的不良事件检测应用。我们提出了一个全面的实证分析的各个方面的好处与外语为基础的培训。此外,我们调查的影响,更严格的差分隐私(DP)的限制,在高度敏感的设置,联合用户必须执行本地DP,以确保严格的隐私保证。我们发现,本地DP可以严重削弱全球模型的预测精度,从而抑制用户参与联邦。作为回应,我们展示了个性化方法的最新创新如何帮助显着恢复丢失的准确性。我们把我们的分析集中在联邦微调算法,FedFT,并证明它不是PAC可识别的,从而使它更有吸引力的FL为基础的培训。
2021-03-12 cs.AI cs.CR cs.LG
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
我们提出了一种算法,用于适应随机梯度下降(SGD)的学习率,避免了使用验证集的需要。自适应的想法来自外推技术:为了获得对SGD基础的梯度流的误差估计,我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架:联邦和差分私人学习。使用深度神经网络的例子,我们凭经验表明,自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明,它在联邦学习的情况下,与常用的优化方法不同,工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
SecureBoost: A Lossless Federated Learning Framework
University of California, Los Angeles(加州大学洛杉矶分校);Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
保护用户隐私是机器学习的一个重要问题,2018年5月欧盟(EU)推出的《通用数据保护条例》(GDPR)就是明证。GDPR旨在让用户更好地控制其个人数据,这促使我们探索不侵犯用户隐私的机器学习数据共享框架。为了实现这一目标,在本文中,我们提出了一种新的无损隐私保护树提升系统称为SecureBoost的设置联邦学习。SecureBoost首先在隐私保护协议下进行实体对齐,然后使用精心设计的加密策略在多方之间构建提升树。这种联邦学习系统允许学习过程在具有共同用户样本但不同特征集的多方上联合进行,这对应于垂直分区的数据集。SecureBoost的一个优点是,它提供了与非隐私保护方法相同的准确性水平,同时不会透露每个私人数据提供商的信息。我们证明了SecureBoost框架与其他需要集中数据的非联邦梯度树提升算法一样准确,因此对于信贷风险分析等工业应用来说,它具有高度的可扩展性和实用性。为此,我们讨论了协议执行过程中的信息泄漏,并提出了可证明地减少它的方法。
2021-04-07 cs.LG stat.ML
Application of federated learning in manufacturing
针对工业生产环境因法律、知识产权等因素难以获取足量数据支撑机器学习的问题,本文结合制造业设备参与方少的特点,分析生产场景的额外约束,探讨适配的联邦学习方法。
2022-11-21 cs.LG
Mitigating Data Injection Attacks on Federated Learning
Bar-Ilan University(巴伊兰大学);Rutgers University--New Brunswick(罗格斯大学新布朗斯维克分校)
本文针对联邦学习中的数据注入攻击,提出一种由协调节点在训练过程中执行的局部检测与缓解方案,通过动态忽略可疑智能体数据,在诚实智能体占多数时保证最终隔离所有攻击者并使模型收敛到真实模型。
2024-01-14 cs.CR cs.LG eess.SP
Fedstellar: A Platform for Decentralized Federated Learning
University of Murcia(穆尔西亚大学);University of Zurich(苏黎世大学);Armasuisse Science and Technology(阿马苏斯科技公司)
本文提出Fedstellar平台,扩展自p2pfl库,支持在异构物理或虚拟设备联邦中以去中心化、半去中心化和中心化方式训练联邦学习模型,并在网络攻击检测及MNIST、CIFAR-10分类任务中验证了其性能与效率优势。
2024-04-08 cs.AI cs.DC cs.LG
FADL:Federated-Autonomous Deep Learning for Distributed Electronic Health Record
Harvard Medical School(哈佛医学院)
电子健康记录(EHR)数据由各个机构收集,通常存储在孤岛中的各个位置。由于安全、隐私、监管和运营问题,访问这些数据既困难又缓慢。我们使用来自58家不同医院的ICU数据表明,预测患者死亡率的机器学习模型可以有效地训练,而无需使用分布式机器学习策略将健康数据移出其孤岛。我们提出了一种新的方法,称为联合自主深度学习(FADL),该方法以分布式方式使用所有数据源训练模型的一部分,并使用来自特定数据源的数据训练其他部分。我们观察到FADL优于传统的联邦学习策略,并得出结论,在设计分布式机器学习方法时,全局和局部训练之间的平衡是需要考虑的重要因素,特别是在医疗保健领域。
2018-12-03 cs.CY cs.LG
QBI: Quantile-Based Bias Initialization for Efficient Private Data Reconstruction in Federated Learning
University of Augsburg(奥格斯堡大学);University of Cambridge(剑桥大学)
本文提出QBI偏置初始化方法和PAIRS算法,通过直接求解产生稀疏激活的偏置值显著提升联邦学习中私有数据重建效率,并建立理论极限与防御框架AGGP。
2024-09-26 cs.LG
Federated Learning for Intrusion Detection in IoT Security: A Hybrid Ensemble Approach
IIT Bombay(印度理工学院孟买分校)
物联网(IoT)在智能城市、医疗保健、供应链和交通运输等各个领域的关键作用使其成为恶意攻击的目标。过去在这方面的工作集中在集中式入侵检测系统(IDS),假设存在一个中央实体来执行数据分析和识别威胁。然而,这样的IDS可能并不总是可行的,主要是由于跨多个源的数据传播和在中央节点处的收集可能是昂贵的。此外,早期的工作主要集中在提高真阳性率(TPR),而忽略了假阳性率(FPR),这对于避免系统不必要的停机时间也是至关重要的。在本文中,我们首先提出了一种基于混合集成模型的入侵检测系统架构,命名为PHEC,它提供了改进的性能相比,国家的最先进的架构。然后,我们将此模型调整为联邦学习框架,该框架执行本地训练并仅聚合模型参数。接下来,我们提出了集中式和联邦设置中的噪声容忍PHEC,以解决标签噪声问题。所提出的想法使用分类器,使用加权凸代理损失函数。KNN分类器对噪声数据的自然鲁棒性也用于所提出的架构。在四个来自各种安全攻击的基准数据集上的实验结果表明,我们的模型在噪声和干净数据上保持低FPR的同时实现了高TPR。此外,他们还证明了混合集成模型在联邦设置中的性能接近于集中式设置。
2021-06-25 cs.AI cs.CR cs.LG
Privacy-Preserving Heterogeneous Multi-LLM Federated Inference for Cognitive Diagnosis
University of Cincinnati(辛辛那提大学)
该研究针对AI教育系统中隐私与认知诊断精度难以平衡的问题,提出异构多LLM联邦推理框架,结合差分隐私与残差聚合,兼具强隐私保障与低精度损失,经多基准验证实用且可跨域推广。
2026-09-04 cs.AI cs.CL cs.CR
Federated Learning for 5G Base Station Traffic Forecasting
Democritus University of Thrace(色雷斯德谟克利特大学);IMT Atlantique(大西洋国立高等矿业电信学校);Inria(法国国家信息与自动化研究所);LS2N(南特数字科学实验室);Athena Research Center(雅典娜研究中心)
本研究针对5G基站流量预测中的数据隐私与性能问题,探究联邦学习在原始LTE时间序列数据上的应用,验证其预测精度与集中式方法相当,且能降低能耗、计算与通信成本。
2023-08-26 cs.AI cs.DC cs.LG
Federated Learning with Spiking Neural Networks
Yale University(耶鲁大学)
随着神经网络在资源受限的嵌入式设备中得到广泛采用,对低功耗神经系统的需求日益增长。脉冲神经网络(SNN)正在成为传统人工神经网络(ANN)的能量高效替代方案,人工神经网络(ANN)已知是计算密集型的。从应用的角度来看,由于联邦学习涉及多个能源受限的设备,因此利用SNN提供的能源效率有很大的空间。尽管其重要性,但很少有人关注在像联邦学习这样的大规模分布式系统上训练SNN。在本文中,我们将SNN带到一个更现实的联邦学习场景中。具体来说,我们提出了一个联邦学习框架,用于SNN的分散和隐私保护训练。为了验证所提出的联邦学习框架,我们用CIFAR10和CIFAR100基准测试实验评估了SNN在联邦学习各个方面的优势。我们观察到,当数据分布在联邦中的大量客户端时,SNN在整体准确性方面优于ANN超过15%,同时提供高达5.3倍的能源效率。除了效率之外,我们还分析了所提出的联邦SNN框架对客户端,落伍者和梯度噪声之间的数据分布的敏感性,并与ANN进行了全面的比较。
2021-06-11 cs.CV cs.DC cs.LG
Experiments of Federated Learning for COVID-19 Chest X-ray Images
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Hainan University(海南大学);University of Macau(澳门大学)
AI在COVID-19识别中发挥着重要作用。计算机视觉和深度学习技术可以通过胸部X光图像帮助确定COVID-19感染。但出于对患者隐私的保护和尊重,医院的具体医疗相关数据未经允许不允许泄露和共享。收集此类培训数据是一项重大挑战。在一定程度上,这导致在执行深度学习方法以检测COVID-19时缺乏足够的数据样本。联合学习是解决这个问题的一种有效方法。它可以有效地解决数据孤岛问题,并在不获取本地数据的情况下获得共享模型。在这项工作中,我们提出了使用联邦学习进行COVID-19数据训练,并部署实验来验证其有效性。我们还比较了四种流行模型(MobileNet,ResNet 18,MoblieNet和COVID-Net)在使用联邦学习框架和不使用框架的情况下的性能。这项工作旨在激发更多关于COVID-19联邦学习的研究。
2020-07-05 cs.CV cs.LG eess.IV
Vertical Federated Learning without Revealing Intersection Membership
ByteDance(字节跳动)
垂直联合学习(Vertical Federated Learning,vFL)允许拥有同一数据实体(例如人)的不同属性(例如特征和标签)的多方联合训练模型。为了准备训练数据,vFL需要识别所有各方共享的公共数据实体。它通常是通过私人集合交集(PSI)来实现的,PSI通过使用个人身份信息(例如电子邮件)作为样本ID来对齐数据实例,从而识别来自各方的训练样本的交集。因此,PSI将使交集的样本ID对所有参与方可见,并且因此每一参与方可以知道交集中所示的数据实体也出现在其他参与方中,即交集成员资格。然而,在许多现实世界的隐私敏感组织中,例如银行和医院,禁止透露其数据实体的成员身份。在本文中,我们提出了一个基于私有集联盟(PSU)的vFL框架,允许每一方保持敏感的成员信息。我们的PSU协议不是识别所有训练样本的交集,而是生成样本的并集作为训练实例。此外,我们提出了策略来生成合成特征和标签,以处理属于联合但不属于交集的样本。通过在两个真实数据集上的大量实验,我们证明了我们的框架可以在保持模型效用的同时保护交集成员的隐私。
2021-06-10 cs.AI cs.LG
MDA: Availability-Aware Federated Learning Client Selection
University of Calgary(卡尔加里大学);York University(约克大学)
最近,一个新的分布式学习方案称为联邦学习(FL)已经推出。FL的设计使服务器永远不会收集用户拥有的数据,这意味着它在保护隐私方面做得很好。FL的过程从服务器向客户端发送模型开始,然后客户端使用其数据训练该模型,并将更新后的模型发送回服务器。之后,服务器聚合所有更新并修改全局模型。重复这个过程,直到模型收敛。这项研究的重点是一个FL设置称为跨设备FL,培训的基础上,大量的客户端。由于许多设备在跨设备FL中可能不可用,并且服务器和所有客户端之间的通信成本极高,因此在每一轮中只有一小部分客户端被选择用于训练。在vanilla FL中,客户端是随机选择的,这导致了可接受的准确性,但从整体培训时间的角度来看并不理想,因为一些客户端速度很慢,可能会导致一些培训轮很慢。如果只选择快速客户端,学习速度会加快,但它将只偏向快速客户端的数据,准确性会降低。因此,提出了新的客户选择技术,通过考虑个人客户的资源和速度来缩短培训时间。本文介绍了第一个可用性感知的选择策略称为MDA。结果表明,我们的方法使学习速度比vanilla FL快6.5%。此外,我们表明,资源异质性感知技术是有效的,但当与我们的方法相结合时,可以变得更好,使其比最先进的选择器快16%。最后,与只选择快速客户端的客户端选择器相比,我们的方法选择了更多独特的客户端进行训练,这减少了我们技术的偏差。
2022-11-25 cs.LG
Fed-Focal Loss for imbalanced data classification in Federated Learning
Hike Ltd.(Hike有限公司);IITM, Gwalior(瓜廖尔IITM)
联邦学习设置具有协调设备网络上的模型训练的中央服务器。其中一个挑战是当数据集具有类别不平衡时的可变训练性能。在本文中,我们解决这个问题,通过引入一个新的损失函数称为美联储焦点损失。我们建议通过重塑交叉熵损失来解决类别不平衡问题,使其降低分配给分类良好的示例的损失的权重。此外,通过利用可调采样框架,我们考虑了中央服务器上的选择性客户端模型贡献,以在训练期间进一步关注检测器,从而提高其鲁棒性。使用详细的实验分析与虚拟(变分联邦多任务学习)的方法,我们表现出一贯优越的性能在平衡和不平衡的情况下MNIST,FEMNIST,VSN和HAR基准。我们在不平衡的MNIST基准中获得了超过9%(绝对百分比)的改善。我们进一步表明,我们的技术可以在多个联邦学习算法中采用,以获得改进。
2020-11-12 cs.DC cs.LG
Homomorphic Encryption and Federated Learning based Privacy-Preserving CNN Training: COVID-19 Detection Use-Case
University of Stavanger(斯塔万格大学);Virginia Commonwealth University(弗吉尼亚联邦大学);Old Dominion University(奥尔多明尼昂大学);Norwegian University of Science and Technology(挪威科技大学)
医疗数据在数据隐私和安全问题方面通常非常敏感。联邦学习是机器学习技术的一种,已经开始用于提高医疗数据的隐私性和安全性。在联邦学习中,训练数据分布在多台机器上,学习过程以协作方式执行。针对深度学习(DL)模型的隐私攻击主要是为了获取敏感信息。因此,应该保护DL模型本身免受对抗攻击,特别是对于使用医疗数据的应用。针对该问题的解决方案之一是基于同态加密的模型保护以防止对手合作者。提出了一种基于同态加密的隐私保护医疗数据联邦学习算法。该算法使用安全的多方计算协议来保护深度学习模型免受攻击。在这项研究中,所提出的算法使用真实世界的医疗数据集进行评估的模型性能。
2022-04-16 cs.CR cs.LG
Subgraph Federated Learning with Missing Neighbor Generation
Emory University(埃默里大学);University of Hong Kong(香港大学);University of British Columbia(不列颠哥伦比亚大学);Lehigh University(理海大学)
图由于其对现实世界对象及其相互作用的独特表示而被广泛应用于数据采掘和机器学习中。随着图变得越来越大,通常会看到它们的子图被单独收集并存储在多个本地系统中。因此,考虑子图联邦学习设置是很自然的,其中每个局部系统都持有可能偏离整个图的分布的小的子图。因此,子图联邦学习的目标是协作训练一个强大的和可推广的图挖掘模型,而不直接共享他们的图数据。在这项工作中,针对子图联邦学习的新颖而现实的设置,我们提出了两种主要技术:(1)FedSage,它基于FedAvg训练GraphSage模型,以集成多个局部子图上的节点特征,链接结构和任务标签;(2)FedSage+,它沿着FedSage训练缺失邻居生成器,以处理局部子图上的缺失链接。四个真实世界的图数据集与合成子图联邦学习设置的实证结果表明,我们提出的技术的有效性和效率。同时,对它们在全局图上的推广能力给出了一致的理论暗示。
2021-11-06 cs.LG cs.SI
DPD-fVAE: Synthetic Data Generation Using Federated Variational Autoencoders With Differentially-Private Decoder
Hasso Plattner Institute(哈索·普拉特纳研究所)
联邦学习(FL)在处理医疗保健等领域常见的敏感分布式数据集方面越来越受到关注。而不是直接在这些数据集上训练分类模型,最近的工作已经考虑了训练数据生成器能够合成一个新的数据集,这是不受任何隐私限制。因此,任何人都可以使用合成数据,这使得能够进一步评估机器学习架构和研究问题。作为隐私保护的附加层,可以将差分隐私引入训练过程。我们提出了DPD-fVAE,一个联邦变分自编码器与差分私有解码器,合成一个新的,标记的数据集,为后续的机器学习任务。通过仅将解码器组件与FL同步,我们可以降低每个时期的隐私成本,从而实现更好的数据生成器。在我们对MNIST,Fashion-MNIST和CelebA的评估中,我们展示了DPD-fVAE的好处,并在Fréchet Inception Distance和在合成数据集上训练的分类器的准确性方面报告了相关工作的竞争性能。
2022-11-21 cs.CR cs.CV cs.LG
Mitigating Backdoors in Federated Learning with FLD
针对联邦学习难以审查客户端数据且现有后门防御受限于攻击模型和模型维度的问题,提出 FLD 层级模型过滤方法,实现收敛保证并在几乎不影响主任务准确率的情况下防御先进后门攻击。
2023-12-18 cs.CR cs.LG
FedSyn: Synthetic Data Generation using Federated Learning
Onyx by J.P. Morgan(摩根大通Onyx部门)
随着深度学习算法的不断发展和变得越来越复杂,它们需要大量的数据集来进行模型训练和模型的有效性。其中一些数据要求可以在组织内现有数据集的帮助下得到满足。可以利用当前的机器学习实践来从现有数据集生成合成数据。此外,已经确定的是,生成的合成数据的多样性依赖于单个组织或实体内的可用数据集的统计特性(并且可能受到其限制)。现有的数据集越多样化,合成数据的表现力和通用性就越强。然而,由于基础数据的稀缺性,在一个组织中整理大数据具有挑战性。不同组织之间的多样化、非重叠数据集为他们提供了一个机会,使他们能够将有限的不同数据贡献给一个更大的数据库,以便进一步综合。不幸的是,这引起了一些机构可能不舒服的数据隐私问题。本文提出了一种新的合成数据生成方法- FedSyn。FedSyn是一种协作的、隐私保护的方法,用于在联合和协作网络中的多个参与者之间生成合成数据。FedSyn创建了一个合成数据生成模型,该模型可以生成由网络中几乎所有参与者的统计分布组成的合成数据。FedSyn不需要访问单个参与者的数据,因此保护了参与者数据的隐私。本文提出的技术利用联邦机器学习和生成对抗网络(GAN)作为合成数据生成的神经网络架构。所提出的方法可以扩展到金融、健康、治理、技术等领域的许多机器学习问题类。
2022-04-06 cs.LG stat.ML
Application of Federated Learning in Building a Robust COVID-19 Chest X-ray Classification Model
University of Calcutta(加尔各答大学);DeepTek Inc(DeepTek公司)
在开发基于人工智能(AI)的算法来解决问题时,数据量起着关键作用-大量数据有助于研究人员和工程师开发强大的AI算法。在为与医学成像相关的问题构建基于AI的模型的情况下,这些数据需要从获取它们的医疗机构传输到开发算法的组织。这种数据移动涉及到耗时的手续,如遵守HIPAA,GDPR等,还有患者的私人数据泄露的风险,损害了他们的机密性。这些问题的一个解决方案是使用联邦学习框架。联邦学习(FL)通过使用来自具有不同分布和数据特征的不同来源的数据,帮助AI模型更好地泛化并创建强大的AI模型,而无需将所有数据移动到中央服务器。在我们的论文中,我们应用FL框架来训练深度学习模型,以解决预测COVID-19存在或不存在的二元分类问题。我们采用了三种不同的数据源,并在每个数据源上训练了单独的模型。然后,我们在完整的数据上训练了FL模型,并比较了所有模型的性能。我们证明了FL模型的性能优于单个模型。此外,FL模型的性能与在中央服务器上组合的所有数据上训练的模型相当。因此,联邦学习导致了通用的AI模型,而没有数据传输和监管开销的成本。
2022-04-22 cs.LG
Predicting Survival of Hemodialysis Patients using Federated Learning
Chirec International School(奇雷克国际学校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对血液透析患者生存预测中数据隔离导致本地模型性能不佳的问题,提出使用联邦学习在不共享数据的情况下提升预测性能,并在印度最大透析网络NephroPlus的数据上进行了验证。
2024-12-14 cs.AI cs.LG
An Efficient Imbalance-Aware Federated Learning Approach for Wearable Healthcare with Autoregressive Ratio Observation
Muroran Institute of Technology(室兰工业大学)
本文提出联邦学习框架 FedImT,通过在线估计数据组成和自衰减迭代机制动态调整少数类损失权重,在不增加能耗和隐私风险的前提下解决可穿戴医疗场景中的类别不平衡问题。
2023-10-30 cs.AI cs.LG
Event-Driven Online Vertical Federated Learning
Western University(西部大学);Vector Institute(向量研究所);Jilin University(吉林大学)
针对纵向联邦学习中客户端数据到达不同步的挑战,提出事件驱动的在线VFL框架,仅激活相关客户端并引入动态局部遗憾分析,在非平稳环境下更稳定且降低通信与计算成本。
2025-06-17 cs.DC cs.LG
Free-riders in Federated Learning: Attacks and Defenses
University of California, Berkeley(加州大学伯克利分校)
联邦学习是最近提出的一种范例,它使多个客户端能够协作训练联合模型。它允许客户端在本地训练模型,并利用参数服务器通过在每一轮聚合本地提交的梯度更新来生成全局模型。虽然联邦学习的激励模型还没有完全开发出来,但人们认为参与者能够获得奖励或使用最终全局模型的特权,作为对努力训练模型的补偿。因此,没有任何本地数据的客户端有动机构建本地梯度更新,以便欺骗奖励。在本文中,我们是第一个提出搭便车攻击的概念,探索可能的方式,攻击者可以构建梯度更新,没有任何本地训练数据。此外,我们探讨了可能的防御,可以检测所提出的攻击,并提出了一种新的高维检测方法称为STD-DAGMM,特别适用于模型参数的异常检测。我们扩展的攻击和防御,考虑更多的搭便车者以及差分隐私,这揭示了在这一领域的未来研究,并呼吁。
2019-11-28 cs.CR cs.LG stat.ML
Subspace based Federated Unlearning
National University of Defense Technology(国防科技大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学);Beijing Institute of Technology(北京理工大学)
联邦学习(FL)使多个客户端能够协作地训练机器学习模型,而无需交换其本地数据。联邦遗忘是一个逆FL过程,旨在消除特定目标客户端在FL中的贡献,以满足用户的遗忘权。大多数现有的联合学习算法要求服务器存储参数更新的历史,这不适用于服务器存储资源受限的场景。在本文中,我们提出了一种简单而有效的基于子空间的联邦非学习方法,称为SFU,它可以让全局模型在其他客户端形成的输入梯度空间的正交空间中执行梯度上升,以消除目标客户端的贡献,而无需额外的存储。具体地,服务器首先收集目标客户端进行梯度上升后生成的梯度,其余客户端在本地计算输入表示矩阵。我们还设计了一种差分隐私方法来保护表示矩阵的隐私。然后服务器合并这些表示矩阵以获得输入梯度子空间,并在输入梯度子空间的正交子空间中更新全局模型,以最小的模型性能下降来完成遗忘任务。在MNIST、CIFAR10和CIFAR100上的实验表明,SFU在各种设置下的性能都大大优于几种最先进的(SOTA)联邦非学习算法。
2023-02-24 cs.CR cs.DC cs.LG
Federated Learning-Based Risk-Aware Decision toMitigate Fake Task Impacts on CrowdsensingPlatforms
School of Electrical Engineering and Computer Science at the University of Ottawa(渥太华大学电气工程与计算机科学学院)
针对移动众包感知平台的虚假任务攻击,提出横向联邦学习与风险感知聚合的并行检测框架,在小数据集上实现100%准确率并提升检测性能逾8%。
2021-01-04 cs.AI cs.LG
Federated Bandit: A Gossiping Approach
University of California, Santa Cruz(加州大学圣克鲁兹分校);Stony Brook University(石溪大学)
在本文中,我们研究了\emph{Federated Bandit},一个分散的多臂强盗问题与一组$N$代理,谁只能与连接图$G$描述的邻居的本地数据。每个智能体在从$M$候选者中选择手臂时做出一系列决策,但它们只能访问对所采取的每个行动的真实奖励的局部和潜在有偏见的反馈/评估。只在本地学习会导致代理采取次优行动,而收敛到无遗憾策略需要收集分布式数据。受联邦学习提议的启发,我们的目标是一个解决方案,其中代理永远不会与中央实体共享他们的本地观察结果,并且只允许与他们的邻居共享他/她自己的信息的私人副本。我们首先提出了一个分散的强盗算法Gossip_UCB,这是一个耦合的经典八卦算法和著名的上置信界(UCB)的强盗算法的变种。我们发现,Gossip_UCB成功地适应本地的强盗学习到一个全球的八卦过程中连接的代理之间共享信息,并实现保证遗憾的顺序为$O(\max\{ \texttt{poly}(N,M) \log T, \texttt{poly}(N,M)\log_{λ_2^{-1}} N\})$的所有$N$代理,其中$λ_2\in(0,1)$是第二大特征值的预期八卦矩阵,这是一个功能的$G$。然后,我们提出了美联储_UCB,一个差分私人版本的绯闻_UCB,其中代理人保持$ε$ -差分隐私的本地数据,同时实现$O(\max \{\frac{\texttt{poly}(N,M)}ε\log^…
2021-04-07 cs.LG cs.MA
Try to Avoid Attacks: A Federated Data Sanitization Defense for Healthcare IoMT Systems
South China University of Technology(华南理工大学)
医疗IoMT系统正在变得智能化、小型化,并且更加融入日常生活。对于IoMT中的分布式设备,联邦学习在满足数据安全性时已成为基于云的训练过程的热门领域。然而,IoMT的分发存在保护免受数据投毒攻击的风险。可以通过伪造医疗数据来制造有毒数据,这迫切需要对IoMT系统进行安全防御。由于缺乏特定的标签,恶意数据的过滤是一个独特的无监督场景。其中一个主要的挑战是找到强大的数据过滤方法的各种中毒攻击。本文介绍了一种新的方法,以保护系统免受数据投毒攻击的联邦数据净化防御。为了解决这个无监督的问题,我们首先使用联邦学习将所有数据投影到子空间域,由于数据存储在本地,因此可以建立统一的特征映射。然后,我们采用联邦聚类重新组合他们的功能,澄清中毒的数据。聚类是基于数据及其语义的一致性关联。在我们得到私有数据的聚类之后,我们用一个简单而有效的策略进行数据清理。最后,分布式ImOT的每个设备都可以根据联邦数据清理来过滤恶意数据。大量的实验进行评估的有效性,提出的防御方法对数据投毒攻击。此外,我们考虑我们的方法在不同的中毒率,并实现了较高的准确性和较低的攻击成功率。
2022-11-03 cs.CR cs.DC cs.LG
FedPOIRec: Privacy Preserving Federated POI Recommendation with Social Influence
Institute for Language and Speech Processing, Athena Research Center(雅典娜研究中心语言与语音处理研究所);Department of Electrical and Computer Engineering, Democritus University of Thrace(色雷斯德谟克利特大学电气与计算机工程系)
随着基于位置的社交网络数量的增长,隐私保护的位置预测已经成为帮助用户发现新的兴趣点(POI)的主要任务。传统的系统采用集中式方法,需要传输和收集用户的私人数据。在这项工作中,我们提出了FedPOIRec,一个隐私保护的联邦学习方法,增强了用户社交圈的功能,用于顶级$N$ POI推荐。首先,FedPOIRec框架是基于本地数据永远不会离开所有者设备的原则构建的,而本地更新是由参数服务器盲目聚合的。第二,通过允许用户交换他们学习到的参数,使知识在朋友之间传递,本地用户变得个性化。为此,我们提出了一个隐私保护协议,通过利用CKKS完全同态加密方案的属性,在联邦计算后集成用户的朋友的偏好。为了评估FedPOIRec,我们使用两个推荐模型将我们的方法应用于五个真实世界的数据集。大量的实验表明,FedPOIRec实现了类似的推荐质量集中的方法,而社会集成协议在用户端产生的计算和通信开销低。
2021-12-21 cs.CR cs.IR cs.LG
FedV: Privacy-Preserving Federated Learning over Vertically Partitioned Data
IBM Research(IBM研究院);University of Pittsburgh(匹兹堡大学)
联邦学习(FL)已经被提出来允许多方之间的机器学习(ML)模型的协作训练,其中每一方都可以保持其数据私有。在这个范例中,只有模型更新,如模型权重或梯度,是共享的。许多现有的方法都集中在水平FL,其中每一方具有整个特征集和标签的训练数据集。然而,许多真实场景遵循垂直分区的FL设置,其中只有当来自各方的所有数据集组合在一起时才形成完整的特征集,并且标签仅对单一方可用。隐私保护垂直FL是具有挑战性的,因为完整的标签和特征集不属于一个实体。现有的垂直FL方法需要各方之间的多个对等通信,导致冗长的训练时间,并且仅限于(近似)线性模型和两方。为了缩小这一差距,我们提出了FedV,这是一个在垂直设置中安全梯度计算的框架,用于几个广泛使用的ML模型,如线性模型,逻辑回归和支持向量机。FedV通过使用函数加密方案消除了各方之间对等通信的需要;这使得FedV能够实现更快的训练时间。它也适用于更大和不断变化的政党。我们经验性地证明了多种类型ML模型的适用性,并显示与最先进的方法相比,训练时间减少了10%-70%,数据传输减少了80%至90%。
2021-06-16 cs.AI cs.CR cs.DC
FedAR+: A Federated Learning Approach to Appliance Recognition with Mislabeled Data in Residential Buildings
Indian Institute of Technology (BHU)(印度理工学院(贝拿勒斯印度教大学));Missouri University of Science and Technology(密苏里科技大学)
随着人们生活水平的提高和通信技术的快速发展,住宅环境变得智能化和互联化,整体能源消耗大幅增加。由于家用电器是主要的能源消费者,因此对它们的识别对于避免无人看管的使用至关重要,从而节约能源并使智能环境更具可持续性。传统上,通过从客户端(消费者)收集经由智能插头记录的电力消耗数据,在中央服务器(服务提供商)处训练电器识别模型,从而导致隐私泄露。除此之外,当设备连接到非指定的智能插头时,数据容易受到噪音标签的影响。在共同解决这些问题的同时,我们提出了一种新的联邦学习方法来进行设备识别,称为FedAR+,即使使用错误标记的训练数据,也可以以隐私保护的方式跨客户端进行分散的模型训练。FedAR+引入了一种自适应噪声处理方法,本质上是一种结合权重和标签分布的联合损失函数,以增强电器识别模型对噪声标签的能力。通过在公寓大楼中部署智能插件,我们收集了一个标记的数据集,以及两个现有的数据集,用于评估FedAR+的性能。实验结果表明,我们的方法可以有效地处理高达$30\%$浓度的噪声标签,同时优于以前的解决方案的准确性大幅度提高。
2022-09-03 cs.LG
Exploring Parameter-Efficient Fine-Tuning to Enable Foundation Models in Federated Learning
University of Central Florida(中佛罗里达大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
研究在联邦学习中应用参数高效微调,提出FedPEFT框架,通过仅本地微调并全局共享少量权重,在多种设置下显著降低通信开销并保持优异性能。
2024-12-24 cs.CV cs.LG
Federated Learning with Noisy User Feedback
Amazon(亚马逊)
机器学习(ML)系统越来越受欢迎,并在我们的日常生活中推动越来越多的应用和服务。这导致了对用户隐私的日益关注,因为人类交互数据通常需要被传输到云,以便训练和改进这样的系统。联邦学习(FL)最近已经成为一种使用敏感的用户数据在边缘设备上训练ML模型的方法,并被视为减轻对数据隐私的担忧的一种方法。然而,由于ML模型最常使用标签监督进行训练,因此我们需要一种方法来提取边缘上的标签以使FL可行。在这项工作中,我们提出了一种策略,用于训练FL模型使用积极和消极的用户反馈。我们还设计了一个新的框架来研究用户反馈中的不同噪声模式,并探索在联邦环境中训练模型时,标准噪声鲁棒目标如何帮助减轻这种噪声。我们通过对两个文本分类数据集的详细实验来评估我们提出的训练设置,并分析不同级别的用户可靠性和反馈噪声对模型性能的影响。我们表明,我们的方法在自我训练基线上有了大幅改进,实现了更接近于在完全监督下训练的模型的性能。
2022-05-06 cs.CL cs.HC cs.LG