Poisoning Semi-supervised Federated Learning via Unlabeled Data: Attacks and Defenses
City University of Hong Kong（香港城市大学）；Monash University（莫纳什大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
半监督联邦学习（SSFL）由于其实用性而受到广泛关注，即，客户端可以仅具有未标记的数据。在实践中，这些SSFL系统通过将“猜测”标签分配给标记数据附近的未标记数据来实现半监督训练，以将无监督问题转换为全监督问题。然而，这种半监督训练技术的固有属性创建了一个新的攻击面。在本文中，我们发现并揭示了一个简单而强大的中毒攻击SSFL。我们的攻击利用半监督学习的自然特性，通过毒害未标记的数据来使模型中毒。具体来说，攻击者只需要插入少量恶意制作的未标记样本（例如，仅为数据集的0.1\ %）以影响模型性能和误分类。大量的案例研究表明，我们的攻击是有效的不同的数据集和常见的半监督学习方法。为了减轻攻击，我们提出了一种辩护，即，基于极小极大优化的客户端选择策略，使服务器能够选择持有正确标签信息和高质量更新的客户端。我们的防御进一步采用了基于质量的聚合规则，以加强所选更新的贡献。在不同攻击条件下的评估表明，所提出的防御可以很好地减轻这种未标记的中毒攻击。我们的研究揭示了SSFL对未标记中毒攻击的脆弱性，并为社区提供了潜在的防御方法。
2022-05-07 cs.CR cs.DC cs.LG
SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）；Department of Computer Science and Engineering, University at Buffalo, the State University of New York（纽约州立大学布法罗分校计算机科学与工程系）
本文提出SemiSFL系统，通过聚类正则化与动态调整全局更新频率，解决分割联邦学习在无标签且非独立同分布数据下的训练不一致问题，显著提升训练速度、降低通信成本并提高精度。
2024-08-02 cs.DC cs.LG
Exploiting Unlabeled Data in Smart Cities using Federated Learning
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
隐私问题被认为是智慧城市的主要挑战之一，因为共享敏感数据会给人们的生活带来威胁。联邦学习已成为一种有效的技术，以避免侵犯隐私，以及提高数据的利用率。然而，在智能城市中收集的标记数据量稀缺，而未标记数据量丰富，因此需要使用半监督学习。我们提出了一种半监督的联邦学习方法，称为FedSem，利用未标记的数据。该算法分为两个阶段，其中第一阶段基于标记数据训练全局模型。在第二阶段，我们使用基于伪标记技术的半监督学习来改进模型。我们使用交通标志数据集进行了几次实验，结果表明FedSem可以通过在学习过程中利用未标记的数据来提高准确率高达8%。
2020-03-04 cs.CR cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
UFed-GAN: A Secure Federated Learning Framework with Constrained Computation and Unlabeled Data
University of California, Davis（加州大学戴维斯分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
本文提出UFed-GAN框架，通过无监督联邦生成对抗网络在资源受限且无标签环境下捕获用户数据分布，兼顾隐私保护与低计算需求。
2023-08-10 cs.LG eess.SP
Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning
KAIST（韩国科学技术院）；AITRICS
虽然现有的联邦学习方法大多要求客户端具有完全标记的数据来进行训练，但在现实环境中，在客户端获得的数据通常没有任何附带的标签。这种标签的不足可能是由于高的标签成本，或由于需要专家知识而难以注释。因此，在每个客户端的私有数据可能是部分标记，或完全未标记的标记数据是只在服务器上可用，这导致我们一个新的实际联邦学习问题，即联邦半监督学习（FSSL）。在这项工作中，我们研究了两个基本的情况下，FSSL的标记数据的位置的基础上。第一个场景考虑的是传统的情况，其中客户端具有标记和未标记的数据（客户端标记），第二个场景考虑的是更具挑战性的情况，其中标记的数据仅在服务器上可用（服务器标记）。然后，我们提出了一种新的方法来解决这些问题，我们称之为联邦匹配（FedMatch）。FedMatch改进了联邦学习和半监督学习方法的简单组合，具有新的客户端间一致性损失和对标记和未标记数据进行不相交学习的参数分解。通过在两种不同场景下对我们的方法进行广泛的实验验证，我们表明我们的方法优于局部半监督学习和基线，后者天真地将联邦学习与半监督学习结合起来。该代码可在https://github.com/wyjeong/FedMatch上获得。
2021-03-29 cs.LG stat.ML
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology（埃因霍温理工大学）
联邦学习是一种分布式机器学习范式，处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上，因此标签被委托给客户端，或者以自动化的方式提取标签。具体地，在音频数据的情况下，获取语义注释可能是极其昂贵和耗时的。因此，大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上，而没有利用未标记的数据。在这项工作中，我们研究的问题，半监督学习的音频模型，通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明，自我监督的预训练模型可以加速设备上模型的训练，显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验，并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是，我们发现，与完全监督的联邦模型相比，只有3%的标记数据可用，FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
SemiFL: Semi-Supervised Federated Learning for Unlabeled Clients with Alternate Training
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习允许通过使用许多分布式客户端的计算和私有数据资源来训练机器学习模型。联邦学习（FL）的大多数现有结果假设客户端具有地面真实标签。然而，在许多实际场景中，由于缺乏专业知识或资源，客户端可能无法标记特定于任务的数据。我们提出SemiFL来解决将FedAvg等通信效率高的FL与半监督学习（SSL）相结合的问题。在SemiFL中，客户端具有完全未标记的数据，并且可以训练多个本地epoch以降低通信成本，而服务器具有少量的标记数据。我们提供了一个成功的数据增强为基础的SSL方法的理论理解，以说明一个香草组合的通信效率FL与SSL的瓶颈。为了解决这个问题，我们提出了替代训练，以“用标记数据微调全局模型”和“用全局模型生成伪标签”。“我们进行了广泛的实验，并证明我们的方法显着提高了标记服务器的性能，而未标记客户端使用多个本地时期进行训练。此外，我们的方法优于许多现有的SSFL基线，并与最先进的FL和SSL结果竞争。
2022-10-11 cs.LG
CATCHFed: Efficient Unlabeled Data Utilization for Semi-Supervised Federated Learning in Limited Labels Environments
Dept. of Computer and Information Science, Korea University, Sejong, South Korea（韩国大学计算机与信息科学系）；Department of Computer Science, University of Surrey, Guildford, United Kingdom（塞弗里大学计算机科学系）；Dept. of Semiconductor Engineering, Seoul National University of Science and Technology, Seoul, South Korea（首尔科学技术大学半导体工程系）；Dept. of Electrical and Information Engineering, Seoul National University of Science and Technology, Seoul, South Korea（首尔科学技术大学电气与信息工程系）
针对有限标签环境下半监督联邦学习标记数据减少导致性能下降的问题，提出CATCHFed，通过客户端感知自适应阈值、混合阈值及非伪标记数据一致性正则化，有效利用未标记数据提升性能。
2025-11-19 cs.LG
Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients
The University of Tokyo（东京大学）；The Chinese University of Hong Kong（香港中文大学）；The University of British Columbia（不列颠哥伦比亚大学）；RIKEN（理化学研究所）
监督式联邦学习（FL）使多个客户端能够共享训练模型，而无需共享其标记数据。然而，潜在客户甚至可能不愿意标记自己的数据，这可能限制FL在实践中的适用性。在本文中，我们展示了无监督FL的可能性，其模型仍然是用于预测类标签的分类器，如果类先验概率被转移，而类条件分布在客户端拥有的未标记数据之间共享。我们提出了联邦无监督学习（FedUL），其中未标记的数据被转换为代理标记的数据为每个客户端，一个修改后的模型是由监督FL训练，和想要的模型是从修改后的模型恢复。FedUL是无监督FL的一种非常通用的解决方案：它与许多监督FL方法兼容，并且理论上可以保证恢复所需的模型，就像数据已经被标记一样。在基准数据集和真实数据集上的实验证明了FedUL的有效性。代码可在https://github.com/lunanbit/FedUL上获得。
2022-05-11 cs.LG
Learn How to Query from Unlabeled Data Streams in Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；Westlake University（西湖大学）
针对联邦学习中客户端流式无标注数据的样本选择难题，该研究提出基于多智能体强化学习的LeaDQ方案，在全局信息隐式引导下学习本地选样策略，有效提升了多场景下的全局模型性能。
2024-12-12 cs.AI cs.DC cs.LG
Rethinking Semi-Supervised Federated Learning: How to co-train fully-labeled and fully-unlabeled client imaging data
University of Oxford（牛津大学）
本文针对半监督联邦学习中标注与未标注客户端目标函数不一致的瓶颈，提出隔离联邦学习IsoFed，通过隔离聚合与局部自监督预训练避免简单平均，并在MedMNIST多模态医学影像数据上验证其有效性。
2023-10-28 cs.AI cs.CV cs.LG
FedTriNet: A Pseudo Labeling Method with Three Players for Federated Semi-supervised Learning
Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Georgia State University（佐治亚州立大学）
联邦学习在分布式数据利用和隐私保护方面显示出巨大的潜力。大多数现有的联邦学习方法都集中在监督设置上，这意味着存储在每个客户端中的所有数据都有标签。然而，在实际应用中，客户端数据不可能被完全标记。因此，如何有效利用未标记数据是联邦学习面临的新挑战。虽然有一些研究试图克服这一挑战，但它们可能会遭受信息泄漏或误导信息使用的问题。为了解决这些问题，在本文中，我们提出了一种新的联邦半监督学习方法命名为FedTriNet，它包括两个学习阶段。在第一阶段，我们使用FedAvg中的标记数据预训练FedTriNet。在第二阶段，我们的目标是让大部分未标记的数据来帮助模型学习。特别是，我们建议使用三个网络和一个动态质量控制机制来为未标记的数据生成高质量的伪标签，并将其添加到训练集中。最后，FedTriNet使用新的训练集重新训练模型。在三个公开数据集上的实验结果表明，所提出的FedTriNet在IID和Non-IID设置下的性能优于最先进的基线。
2021-12-11 cs.LG
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
FedSiam: Towards Adaptive Federated Semi-Supervised Learning
USTC（中国科学技术大学）；UESTC（电子科技大学）；Purdue University（普渡大学）；Penn State University（宾夕法尼亚州立大学）；Georgia State University（佐治亚州立大学）
联邦学习（FL）已经成为一种有效的技术，可以在不实际共享数据和泄露隐私的情况下共同训练机器学习模型。然而，大多数现有的FL方法侧重于监督设置，忽略了未标记数据的利用。虽然有一些现有的研究试图将未标记的数据到FL，他们都不能保持性能保证或泛化能力，在各种现实世界的设置。在本文中，我们专注于设计一个通用框架FedSiam，以解决联邦半监督学习的不同场景，包括标签在客户端场景中的四个设置和标签在服务器场景中的两个设置。FedSiam是建立在一个到FL的连体网络上的，它有一个动量更新来处理未标记数据带来的非IID挑战。我们进一步提出了一个新的度量标准来衡量暹罗网络内的局部模型层的分歧。根据分歧，FedSiam可以自动选择图层级别的参数，以自适应的方式上传到服务器。在两种不同数据分布设置的场景下对三个数据集的实验结果表明，所提出的FedSiam框架优于最先进的基线。
2021-07-05 cs.LG
A Semi-Supervised Federated Learning Framework with Hierarchical Clustering Aggregation for Heterogeneous Satellite Networks
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（计算机科学与人工智能学院，武汉科技大学）；Hubei Key Laboratory of Transportation Internet of Things, Wuhan University of Technology（交通物联网湖北省重点实验室，武汉科技大学）；School of Engineering, Swinburne University of Technology（工程学院，斯威本科技大学）；School of Computer Science and Technology, Tongji University（计算机科学与技术学院，同济大学）；State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）
针对异构部分无标注LEO卫星网络中联邦学习难兼顾收敛可靠性、处理效率与能耗的问题，提出带层次聚类聚合、融合稀疏化与自适应量化的半监督FL框架，经实验验证可在保精度的同时大幅降时降耗。
2025-07-30 cs.DC cs.LG
SemiDFL: A Semi-Supervised Paradigm for Decentralized Federated Learning
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；The Hong Kong Polytechnic University（香港理工大学）；Guangdong University of Technology（广东工业大学）；Southeast University（东南大学）
提出首个半监督去中心化联邦学习方法SemiDFL，通过邻域信息改进伪标记、基于共识的扩散模型生成合成数据及自适应聚合机制，显著提升了在IID和非IID半监督场景下的性能。
2024-12-18 cs.AI cs.DC cs.LG
GraphFL: A Federated Learning Framework for Semi-Supervised Node Classification on Graphs
Duke University（杜克大学）
基于图的半监督节点分类（GraphSSC）具有广泛的应用，从网络和安全到数据采掘和机器学习等。然而，现有的集中式GraphSSC方法对于解决许多基于图的现实问题是不切实际的，因为收集整个图并标记合理数量的标签是耗时和昂贵的，并且还可能侵犯数据隐私。联邦学习（Federated learning，FL）是一种新兴的学习范式，它支持多个客户端之间的协作学习，可以缓解标签稀缺问题并保护数据隐私。因此，在FL设置下执行GraphSSC是解决现实世界中基于图的问题的一个很有前途的解决方案。然而，现有的FL方法1）当跨客户端的数据是非IID时表现不佳，2）不能处理具有新标签域的数据，以及3）不能利用未标记的数据，而所有这些问题都自然地发生在现实世界的基于图的问题中。为了解决上述问题，我们提出了第一个FL框架，即GraphFL，用于图上的半监督节点分类。我们的框架是由元学习方法的动机。具体来说，我们提出了两种GraphFL方法，分别解决图数据中的非IID问题和处理新标签域的任务。此外，我们还设计了一种自训练方法来利用未标记的图数据。我们采用具有代表性的图神经网络作为GraphSSC方法，并在多个图数据集上评估GraphFL。实验结果表明，GraphFL算法的性能明显优于基线算法，且结合自训练的GraphFL算法能够获得更好的性能。
2020-12-08 cs.LG stat.ML
CLAD: A Clustered Label-Agnostic Federated Learning Framework for Joint Anomaly Detection and Attack Classification
Yale University（耶鲁大学）；Nokia Bell Labs（诺基亚贝尔实验室）
CLAD框架通过融合聚类联邦学习与双模式微架构，解决物联网设备异质性和标签稀缺问题，提升异常检测性能并降低通信成本。
2026-05-07 cs.CR cs.DC cs.LG
Joint Optimization in Edge-Cloud Continuum for Federated Unsupervised Person Re-identification
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
人员重新识别（ReID）旨在从非重叠的摄像机视图中重新识别人员。由于个人ReID数据包含敏感的个人信息，研究人员采用了联邦学习，一种新兴的分布式训练方法，以减轻隐私泄露风险。然而，现有的研究依赖于费力和耗时的数据标签。我们提出了FedUReID，这是一个联合的无监督人员ReID系统，可以在不使用任何标签的情况下学习人员ReID模型，同时保护隐私。FedUReID支持在具有未标记数据的边缘上进行原位模型训练。云服务器从边缘聚集模型，而不是集中原始数据，以保护数据隐私。此外，为了解决边缘数据量和分布不同的问题，我们通过云和边缘的联合优化对边缘进行个性化训练。具体来说，我们提出了个性化的epoch来重新分配整个训练过程中的计算，个性化的聚类来迭代地预测未标记数据的合适标签，以及个性化的更新来使服务器聚合模型适应每个边缘。在8个人ReID数据集上的大量实验表明，FedUReID不仅实现了更高的准确率，而且将计算成本降低了29%。我们的FedUReID系统与联合优化将揭示实施联邦学习更多的多媒体任务没有数据标签。
2021-08-14 cs.AI cs.CV cs.DC
Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models
Southeast University（东南大学）；University of California, Berkeley（加州大学伯克利分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；International Computer Science Institute（国际计算机科学研究所）
联邦学习（FL）是一种很有前途的方法，可以在使用移动设备的计算能力的同时维护用户的隐私。然而，FL目前的工作做出了不切实际的假设，即用户在其设备上有真实的标签，同时还假设服务器既没有数据也没有标签。在这项工作中，我们考虑更现实的情况下，用户只有未标记的数据，而服务器有一些标记的数据，标记的数据量小于未标记的数据量。我们称这种学习问题为半监督联邦学习（SSFL）。对于SSFL，我们证明了影响测试精度的一个关键问题是来自不同用户的模型的梯度多样性。在此基础上，我们研究了几种设计选择。首先，我们发现广泛用于半监督学习的所谓的一致性正则化损失（CRL），表现相当不错，但具有较大的梯度多样性。其次，我们发现，批量归一化（BN）增加梯度多样性。用最近提出的群归一化（GN）代替BN可以减少梯度多样性并提高测试精度。第三，我们表明，CRL结合GN仍然有一个大的梯度多样性时，用户数很大。基于这些结果，我们提出了一种新的基于分组的模型平均方法，以取代FedAvg平均方法。总的来说，我们的基于分组的平均，结合GN和CRL，实现了更好的测试准确性，不仅比同一设置（>10\%）的SSFL当代论文，但也有四个监督FL算法。
2021-03-09 cs.LG stat.ML
(FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning
KAIST（韩国科学技术院）
针对联邦半监督学习因确认偏差导致性能不及集中式半监督学习的问题，提出带锐度感知一致性正则化的(FL)²方法，结合样本筛选、客户端自适应阈值与学习状态感知聚合，在三个基准数据集上显著提升性能、缩小差距。
2024-10-31 cs.LG
Towards Unsupervised Domain Adaptation for Deep Face Recognition under Privacy Constraints via Federated Learning
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
无监督领域自适应已被广泛采用，以推广目标域中的未标记数据的模型，给定源域中的标记数据，其数据分布与目标域不同。然而，现有的工作是不适用于人脸识别的隐私约束下，因为他们需要在两个域之间共享敏感的人脸图像。为了解决这个问题，我们提出了一种新的无监督联邦人脸识别方法（FedFR）。FedFR通过联邦学习迭代地聚合来自源域的知识来提高目标域的性能。它通过在域之间传输模型而不是原始数据来保护数据隐私。此外，我们提出了一种新的域约束损失（DCL）来正则化源域训练。DCL抑制了源域的数据量优势。我们还提高了层次聚类算法预测伪标签的未标记的目标域准确。为此，FedFR形成了一个端到端的训练管道：（1）在源域中进行预训练;（2）通过在目标域中进行聚类来预测伪标签;（3）跨两个域进行域约束的联邦学习。在两个新构造的基准测试上的大量实验和分析证明了FedFR的有效性。在更现实的基准测试中，它在目标域中的性能优于基线和经典方法4%以上。我们相信，FedFR将有助于在隐私限制下将联邦学习应用于更多计算机视觉任务。
2021-05-17 cs.AI cs.CV cs.DC
FedSEAL: Semi-Supervised Federated Learning with Self-Ensemble Learning and Negative Learning
University of Miami（迈阿密大学）
联邦学习（FL）是一种流行的去中心化和隐私保护的机器学习（FL）框架，近年来受到了广泛的研究关注。大多数现有的工作集中在监督学习（SL）的问题，它是假设客户端进行标记的数据集，而服务器没有数据。然而，在现实场景中，由于缺乏专业知识和动机，客户端通常无法标记其数据，而服务器可能托管少量标记的数据。因此，如何合理利用服务器端的标记数据和客户端的未标记数据具有重要的现实意义。在本文中，我们提出了一个新的FL算法，称为FedSEAL，解决这个半监督联邦学习（SSFL）的问题。我们的算法利用自集成学习和互补的负学习来提高客户端对未标记数据的无监督学习的准确性和效率，并协调服务器端和客户端的模型训练。我们在Fashion-MNIST和CIFAR 10数据集上的实验结果验证了我们的方法的有效性，其性能大大优于最先进的SSFL方法。
2022-06-08 cs.LG
Semi-Supervised Federated Learning for Keyword Spotting
Amazon, Alexa AI（亚马逊Alexa人工智能部门）
本研究提出并验证了半监督联邦学习在关键词识别中的应用，利用设备端无标签数据与服务器端少量有标签数据，显著提升模型性能。
2023-05-09 cs.LG eess.AS
Lottery Hypothesis based Unsupervised Pre-training for Model Compression in Federated Learning
Kyoto University（京都大学）
联邦学习（FL）使神经网络（NN）能够使用移动设备上的隐私敏感数据进行训练，同时将所有数据保留在其本地存储上。然而，FL要求移动设备执行繁重的通信和计算任务，即，要求设备上传和下载大容量NN模型并对其进行训练。本文提出了一种新的无监督预训练方法，适用于FL，旨在减少通信和计算成本，通过模型压缩。由于通信和计算成本高度依赖于NN模型的体积，因此在不降低模型性能的情况下减少体积可以降低这些成本。所提出的预训练方法利用了未标记的数据，这些数据预计比标记的数据更容易从互联网或数据存储库中获得。该方法的核心思想是基于彩票假设，使用未标记的数据从原始NN中获得一个“好”的子网络。该方法使用去噪自动编码器对原始模型进行训练，然后修剪原始模型的小幅度参数，以生成一个小而好的子网络。使用图像分类任务评估所提出的方法。实验结果表明，在保证一定测试精度的前提下，该方法所需的通信量和计算时间比已有方法减少了35%.
2020-04-21 cs.LG cs.NI
Re-thinking Federated Active Learning based on Inter-class Diversity
KAIST AI（韩国科学技术院人工智能研究院）；NAVER AI LAB（NAVER人工智能实验室）
尽管联邦学习取得了令人惊叹的进步，但大多数研究都假设客户端的数据是完全标记的。然而，在现实世界中，每个客户端可能都有大量未标记的实例。在利用未标记数据的各种方法中，联邦主动学习框架已成为一种有前途的解决方案。在去中心化环境中，有两种类型的查询选择器模型，即“全局”和“仅局部”模型，但很少有文献讨论其性能优势及其原因。在这项工作中，我们首先证明了两个选择器模型的优越性取决于全球和本地类间的多样性。此外，我们观察到，全球和本地唯一的模型是解决双方的不平衡的关键。基于我们的研究结果，我们提出了LoGo，一个FAL抽样策略鲁棒性不同的局部异质性水平和全球不平衡比，集成两个模型的两个步骤的主动选择方案。在38个实验设置的总数中，LoGo始终优于六种主动学习策略。
2023-03-22 cs.CV cs.LG
Communication-Efficient Federated Distillation
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
通信约束是阻碍联邦学习系统广泛采用的主要挑战之一。最近，出现了一种新的联邦学习算法范例--联邦蒸馏（Federated Distillation，FD），它具有根本不同的通信特性。FD方法利用集成蒸馏技术和交换模型输出，在中央服务器和参与的客户端之间，在未标记的公共数据集上呈现为软标签。而对于传统的联邦学习算法，如联合平均（FA），通信与联合训练的模型的大小成比例，在FD通信中与蒸馏数据集大小成比例，导致有利的通信属性，特别是当训练大模型时。在这项工作中，我们调查FD从通信效率的角度来看，通过分析的影响，积极蒸馏数据整理，软标签量化和增量编码技术。基于从这种分析中收集的见解，我们提出了压缩联合蒸馏（CFD），一种有效的联合蒸馏方法。联邦图像分类和语言建模问题的大量实验表明，我们的方法可以减少必要的通信量，以实现固定的性能目标超过两个数量级，相比FD和超过四个数量级相比，FA。
2020-12-01 cs.AI cs.LG stat.ML
Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
深度学习方法的最新进展使计算机辅助更接近实现更安全的外科手术的承诺。然而，这种方法的通用性通常取决于来自多个医疗机构的不同数据集的训练，考虑到医疗数据的敏感性，这是一个限制性要求。最近提出的协作学习方法，如联邦学习（FL）允许在远程数据集上进行训练，而无需显式地共享数据。即便如此，数据注释仍然是一个瓶颈，特别是在经常需要临床专业知识的医学和外科领域。考虑到这些限制，我们提出了FedCy，一种联合半监督学习（FSSL）方法，它结合了FL和自监督学习来利用标记和未标记视频的分散数据集，从而提高了手术阶段识别任务的性能。通过利用标记数据中的时间模式，FedCy有助于引导对未标记数据的无监督训练，以学习用于相位识别的任务特定特征。我们证明了显着的性能增益超过国家的最先进的FSSL方法的任务，自动识别手术阶段使用新收集的多机构数据集的腹腔镜胆囊切除术视频。此外，我们还证明了我们的方法在对来自未知领域的数据进行测试时，还可以学习更多可推广的功能。
2022-12-28 cs.AI cs.CV cs.LG
Local or Global: Selective Knowledge Assimilation for Federated Learning with Limited Labels
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
针对联邦学习中客户端标签有限、本地模型泛化差且数据异构导致全局模型难适配的问题，提出FedLabel框架，通过选择性选用局部/全局模型伪标签加一致性正则化提升性能，效果优于现有半监督及全监督联邦学习基线。
2023-07-17 cs.AI cs.CV cs.LG
Federated Semi-Supervised Learning with Prototypical Networks
Seoul National University（首尔国立大学）；Google Research（谷歌研究院）；AWS AI Labs（亚马逊云科技人工智能实验室）
随着边缘设备计算能力的提高，联邦学习（FL）应运而生，可以在没有隐私问题的情况下进行模型训练。大多数现有的研究假设数据在客户端完全标记。然而，在实践中，标记数据的量通常是有限的。最近，联邦半监督学习（FSSL）被探索为一种在训练过程中有效利用未标记数据的方法。在这项工作中，我们提出了ProtoFSSL，一种新的FSSL方法的基础上原型网络。在ProtoFSSL中，客户端通过轻量级原型彼此共享知识，这防止了本地模型的发散。为了计算未标记数据的损失，每个客户端基于共享原型创建准确的伪标签。与标记数据一起，伪标签为本地原型提供训练信号。与基于权重共享的FSSL方法相比，基于原型的客户端间知识共享显着降低了通信和计算成本，从而使更多客户端之间的知识共享更加频繁，从而提高了准确性。在多个数据集中，ProtoFSSL的结果更高的准确性相比，最近的FSSL方法与知识共享，如FixMatch，FedRGD和FedMatch。在SVHN数据集上，ProtoFSSL执行从完全监督的FL方法。
2022-05-30 cs.AI cs.LG
Ensemble Distillation for Robust Model Fusion in Federated Learning
EPFL（洛桑联邦理工学院）
联邦学习（FL）是一种机器学习设置，其中许多设备协作地训练机器学习模型，同时保持训练数据分散。在大多数当前的训练方案中，通过对服务器模型的参数和来自客户端侧的更新的参数进行平均来细化中心模型。然而，只有当所有模型具有相同的结构和大小时，才可能直接平均模型参数，这在许多情况下可能是一个限制性约束。在这项工作中，我们研究了更强大，更灵活的聚合方案FL。具体来说，我们提出了集成蒸馏模型融合，即通过未标记的数据从客户端的模型输出训练中央分类器。这种知识蒸馏技术将隐私风险和成本减轻到与基线FL算法相同的程度，但允许在例如大小、数值精度或结构上可能不同的异构客户端模型上进行灵活的聚合。我们在各种CV/NLP数据集（CIFAR-10/100，ImageNet，AG News，SST 2）和设置（异构模型/数据）上进行了广泛的实证实验，结果表明服务器模型可以更快地训练，需要的通信次数比迄今为止任何现有的FL技术都少。
2021-03-27 cs.LG stat.ML
Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators
The Hong Kong University of Science and Technology（香港科技大学）；SenseTime Research（商汤科技研究院）；Sony AI（索尼人工智能）；The Hong Kong Polytechnic University（香港理工大学）；Northwestern Polytechnical University（西北工业大学）
针对联邦半监督学习中客户端间及客户端内标记与未标记数据分布不平衡的实际场景，提出带粗、细粒度双调节器的FedDure框架，建模为双层优化，经理论收敛证明与实验验证，性能优于现有方法。
2024-03-11 cs.AI cs.LG
Cross-Silo Heterogeneous Model Federated Multitask Learning
UESTC（电子科技大学）；Pengcheng Laboratory（鹏城实验室）；Agile and Intelligent Computing Key Laboratory of Sichuan Province（四川省敏捷与智能计算重点实验室）；Mohamed Bin Zayed University Of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
联邦学习（FL）是一种机器学习技术，它使参与者能够协作训练高质量的模型，而无需交换他们的私人数据。使用跨筒仓联邦学习（CS-FL）设置的参与者是具有不同任务需求的独立组织，他们不仅关注数据隐私，而且出于知识产权考虑，他们还独立训练自己独特的模型。大多数现有的FL方法无法满足上述场景。在这项研究中，我们提出了一种新的联邦学习方法CoFED的基础上未标记的数据伪标记通过一个过程称为协同训练。CoPED是一种与异构模型、任务和培训流程兼容的联邦学习方法。实验结果表明，该方法优于竞争的。这对于非独立和同分布的设置和异构模型尤其如此，其中所提出的方法实现了35%的性能改进。
2022-08-18 cs.LG
Contrastive encoder pre-training-based clustered federated learning for heterogeneous data
Kyung Hee University（庆熙大学）；Vietnam - Korea University of Information and Communication Technology（越韩信息与通信技术大学）
本文针对联邦学习中的数据异构问题，提出基于对比预训练的聚类联邦学习方法CP-CFL，利用自监督对比学习预训练模型并结合客户端聚类，提升模型收敛性和整体性能。
2023-11-28 cs.DC cs.LG
FedCVT: Semi-supervised Vertical Federated Learning with Cross-view Training
WeBank（微众银行）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对纵向联邦学习中已对齐样本不足的问题，本文提出半监督FedCVT，通过缺失特征表示、伪标签扩展和三分类器跨视图训练提升性能并保护隐私。
2024-06-15 cs.LG stat.ML
Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本研究开发了一个联邦学习（FL）框架，克服了由于典型框架中模型大小而导致的大量增量通信成本，而不会影响模型性能。为此，基于利用未标记开放数据集的思想，我们提出了一种基于蒸馏的半监督FL（DS-FL）算法，该算法在移动设备之间交换本地模型的输出，而不是典型框架所采用的模型参数交换。在DS-FL中，通信成本仅取决于模型的输出尺寸，并且不根据模型大小按比例增加。交换的模型输出用于标记开放数据集的每个样本，这会创建一个额外标记的数据集。基于新的数据集，局部模型被进一步训练，并且由于数据增强效应，模型性能被增强。我们进一步强调，在DS-FL中，设备数据集的异质性导致每个数据样本的模糊性和训练收敛性的降低。为了防止这种情况，我们提出了熵减少平均，其中聚合的模型输出被有意地锐化。此外，大量的实验表明，DS-FL降低通信成本高达99%，相对于FL基准，同时实现类似或更高的分类精度。
2021-01-20 cs.DC cs.LG
Semi-Supervised Federated Learning with non-IID Data: Algorithm and System Design
Heilongjiang University（黑龙江大学）；Dalian Minzu University（大连民族大学）；Nanyang Technological University（南洋理工大学）；WeBank Co. Ltd.（微众银行）
联邦学习（FL）允许边缘设备（或客户端）在本地保存数据，同时训练共享的高质量全局模型。然而，当前的研究通常基于本地客户端的训练数据具有地面实况的假设。此外，FL面临着统计异质性的挑战，即，客户端的本地训练数据的分布是非独立同分布的（非IID）。在本文中，我们提出了一个强大的半监督FL系统的设计，该系统的目的是解决数据的可用性和非IID在FL的问题。特别是，本文重点研究的标签在服务器上的情况下，只有有限数量的标记的数据在服务器上，只有未标记的数据在客户端上。在我们的系统设计中，我们提出了一种新的方法来解决这些问题，我们称之为联邦混合（FedMix）。FedMix改进了FL和半监督学习方法的朴素组合，并设计了用于标记、未标记数据和全局模型的分离学习的参数分解策略。为了缓解非IID问题，我们提出了一种新的聚合规则的基础上的客户端的参与训练的频率，即FedFreq聚合算法，它可以调整相应的局部模型的权重，根据这个频率。在CIFAR-10数据集上进行的广泛评估表明，我们提出的方法的性能显着优于目前的基线。值得注意的是，我们的系统对不同的非IID级别的客户端数据都很健壮。
2021-10-26 cs.LG
Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
针对有监督联邦学习需标注数据、模型训练传输开销大的问题，提出基于CLIP的轻量无监督联邦学习方法，通过自训练优化伪标签、类别平衡采样缓解异构，在低开销下性能超越零样本预测和有监督基准。
2024-04-17 cs.AI cs.CV cs.LG
Plug In and Learn: Federated Intelligence over a Smart Grid of Models
Aalto University, Finland（芬兰阿尔托大学）
提出一种模型无关的联邦学习方法，借鉴智能电网机制，通过图正则化器协调统计相似的本地模型在公共无标签数据集上产生相似预测，支持多种参数与非参数模型，且兼容标准机器学习库。
2025-05-29 cs.LG
Heterogeneous Federated Learning Using Knowledge Codistillation
Google Research（谷歌研究院）；Google Brain（谷歌大脑）
针对联邦平均要求所有客户端同构的限制，提出大小模型在服务器无标注数据上双向知识蒸馏的异构联邦学习方法，提升图像分类与语言建模性能并支持域迁移。
2023-10-04 cs.LG
Robust Decentralized Federated Distillation via Multi-Modality Knowledge Collaboration
Faculty of Applied Sciences, Macao Polytechnic University（澳门理工大学应用科学学院）；School of Engineering and Technology, Central Queensland University（中央昆士兰大学工程与技术学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）
提出一种鲁棒去中心化联邦蒸馏方法，通过多模态知识协作过滤不可靠客户端并验证梯度，在拜占庭攻击下保证收敛，提升异构模型在非IID数据上的精度。
2026-09-09 cs.DC cs.LG
UPFL: Unsupervised Personalized Federated Learning towards New Clients
East China Normal University（华东师范大学）；Ant Group（蚂蚁集团）
针对联邦模型部署后未标记新客户端加入的挑战，提出无监督个性化联邦学习方法FedTTA，通过代理正则化、基于熵的早停及知识蒸馏损失优化模型适应并解决设备异质性，实验证明其有效性。
2023-07-29 cs.AI cs.LG
Differentially Private Federated Clustering over Non-IID Data
National Tsing Hua University（国立清华大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Yonsei University（延世大学）
针对非独立同分布数据下的隐私保护联邦聚类难题，重构问题得到软聚类解，提出结合差分隐私、支持部分客户端参与和多步本地更新的DP-FedC算法，经理论分析与真实数据集实验验证其有效性与性能优势。
2023-10-30 cs.DC cs.LG
Self-Adaptive and Robust Federated Spectrum Sensing without Benign Majority for Cellular Networks
Monash University；Swinburne University\ Technology；The University\ Melbourne
针对蜂窝网络中联邦频谱感知面临的标记数据稀缺与数据投毒攻击问题，提出结合能量检测的半监督联邦学习方法与受疫苗接种启发的防御机制，在无标记数据上实现近乎完美的准确率并保持拜占庭鲁棒性。
2025-07-16 cs.LG
Federated Learning without Full Labels: A Survey
HKUST（香港科技大学）；Tsinghua University（清华大学）
数据隐私已经成为诸如机器学习等现实世界大数据应用中越来越重要的问题。为了解决这个问题，联邦学习（FL）已经成为一种很有前途的解决方案，可以从分散和私有数据中构建有效的机器学习模型。现有的联邦学习算法主要解决监督学习问题，其中数据被假设为完全标记。然而，在实践中，完全标记的数据往往很难获得，因为参与者可能没有足够的领域专业知识，或者他们缺乏标记数据的动机和工具。因此，没有完整标签的联邦学习问题在现实世界的FL应用中是重要的。在本文中，我们讨论了如何利用未标记数据的机器学习技术来解决这个问题。我们提出了一个调查的方法，结合FL与半监督学习，自监督学习，和迁移学习方法。我们还总结了用于评估没有完整标签的FL方法的数据集。最后，我们强调未来的方向，在没有完整的标签FL的上下文中。
2023-03-25 cs.AI cs.LG
Learning Across Domains and Devices: Style-Driven Source-Free Domain Adaptation in Clustered Federated Learning
University of Padova（帕多瓦大学）；Politecnico di Torino（都灵理工大学）
联邦学习（FL）最近已经成为解决现实世界语义分割（SS）中的域转移而不损害所收集数据的私有性质的可能方法。然而，大多数现有的工作FL不切实际地假设标记的数据在远程客户端。在这里，我们提出了一个新的任务（FFREEDA），其中客户端的数据是未标记的，服务器访问源标记的数据集进行预训练。为了解决FFREEDA，我们提出了LADD，它利用了预先训练的模型的知识，采用自监督与ad-hoc正则化技术进行本地训练，并引入了一种新的联邦聚类聚合方案的基础上，客户端的风格。我们的实验表明，我们的算法是能够有效地解决新的任务优于现有的方法。该代码可在https://github.com/Erosinho13/LADD上获得。
2022-10-05 cs.CV cs.LG
Personalized Semi-Supervised Federated Learning for Human Activity Recognition
针对人类活动识别中标记数据稀缺问题，提出FedAR混合方法，结合半监督学习与联邦学习，利用主动学习和标签传播实现半自动标注，并通过迁移学习个性化微调，在公共数据集上达到与监督方法相当的识别率且仅需少量标注。
2025-10-17 cs.DC cs.LG
Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning
Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
语音情感识别（SER）是指从自然语音中识别人类情感。如果准确地完成，它可以在构建以人为中心的上下文感知智能系统方面提供许多好处。现有的SER方法在很大程度上是集中式的，没有考虑用户的隐私。联邦学习（FL）是一种分布式机器学习范式，用于处理隐私敏感个人数据的分散化。在本文中，我们提出了一个隐私保护和数据高效的SER方法，利用FL的概念。据我们所知，这是第一个联邦SER方法，它利用自我训练学习结合联邦学习，利用标记和未标记的设备上的数据。我们对IEMOCAP数据集的实验评估表明，即使在数据标签可用性低和高度非独立同分布的情况下，我们的联邦方法也可以学习可推广的SER模型。分布。我们表明，与完全监督的联邦同行相比，我们的方法平均只需10%的标记数据，就可以将识别率提高8.67%。
2022-02-05 cs.AI cs.LG cs.SD
Little is Enough: Boosting Privacy by Sharing Only Hard Labels in Federated Semi-Supervised Learning
Institute for Neuroinformatics, Ruhr University Bochum（波鸿鲁尔大学神经信息学研究所）；Monash University（莫纳什大学）；Case Western Reserve University（凯斯西储大学）；Carenostics（Carenostics公司）
提出联邦协同训练方法FedCT，通过仅共享公共无标签数据集上的硬标签作为伪标签进行本地训练，在提升隐私的同时保持模型质量，并支持非参数聚合模型及大语言模型微调。
2024-12-20 cs.LG
Unified Alignment Protocol: Making Sense of the Unlabeled Data in New Domains
Binghamton University (SUNY)（比灵顿大学（SUNY））；Adobe Inc.（Adobe公司）；North Carolina State University（北卡罗来纳州立大学）
提出统一对齐协议（UAP）框架，通过服务器与客户端交替两阶段特征对齐训练，在半监督联邦学习（SSFL）中有效提升模型对未见领域的泛化能力并达到SOTA性能。
2025-05-27 cs.CV cs.LG
Anomaly Detection through Unsupervised Federated Learning
Scuola Normale Superiore Pisa（比萨高等师范学校）；IIT-CNR（意大利国家研究委员会信息科学与技术研究所）
联邦学习（FL）被证明是利用分布式资源的最有前途的范例之一，使一组客户端能够协作训练机器学习模型，同时保持数据分散。对该主题的兴趣爆炸式增长导致了几个核心方面的快速发展，如通信效率，处理非IID数据，隐私和安全功能。然而，大多数FL作品只处理有监督的任务，假设客户的训练集是标记的。为了利用分布式边缘设备上的大量未标记数据，在本文中，我们的目标是通过解决分散设置中的异常检测问题，将FL范式扩展到无监督任务。特别是，我们提出了一种新的方法，其中，通过预处理阶段，客户端被分组为社区，每个社区具有相似的多数（即，内点）模式。随后，每个客户端社区训练相同的异常检测模型（即，自动编码器）。然后共享生成的模型，并使用它来检测加入相应联邦流程的同一团体的客户机中的异常。实验表明，我们的方法是强大的，它可以检测社区符合理想的划分，其中具有相同的内层模式的客户端组是已知的。此外，性能显着优于那些客户端训练模型只在本地数据和可比的联邦模型的理想社区的划分。
2022-09-09 cs.LG
Robust Unsupervised Network Intrusion Detection via Federated Learning with Selective Aggregation under Anomalous Sample Contamination
School of Engineering, Institute of Science Tokyo（东京科学大学工程学院）
针对实际中训练数据含异常致网络入侵检测性能下降问题，提出一种基于联邦学习的稳健训练方法，利用联邦学习局限性减弱异常数据影响，引入选择性聚合机制排除异常更新，实验证明该方法在含异常数据环境中性能更优且随异常比例增加仍稳定。
2026-07-29 cs.LG cs.NI
Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
针对异构联邦学习中的模型异构与本地更新灾难性遗忘问题，提出 FCCL+，通过公共数据上的互相关、实例相似性对齐及联邦非目标蒸馏提升泛化，并构建覆盖四种域偏移场景的综合基准验证其优势。
2023-09-28 cs.AI cs.LG
