Federated Knowledge Distillation for Multi-Model Architectures Lithography Hotspot Detection
City University of New York（纽约城市大学）；Sichuan Agricultural University（四川农业大学）；The University of Sydney（悉尼大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of St Andrews（圣安德鲁大学）；Southwest University（西南大学）
本文提出FedKD-hybrid框架，结合参数聚合与知识蒸馏提升协同学习效果，在ICCAD-2012和真实FAB数据集上验证了其在有效性与鲁棒性上的优势。
2026-04-30 cs.AR cs.LG
Mobility-Aware Federated Self-supervised Learning in Vehicular Network
针对车载网络中标签成本高和高速车辆图像模糊导致联邦学习性能下降的问题，提出基于图像模糊程度聚合的无标签FLSimCo算法，实现快速稳定收敛。
2025-06-19 cs.LG cs.NI
When does the student surpass the teacher? Federated Semi-supervised Learning with Teacher-Student EMA
Meta Platforms, Inc.（元平台公司）
半监督学习（Semi-Supervised Learning，SSL）在计算机视觉领域受到了广泛的关注，导致了FixMatch等有前途的方法的发展。在训练数据分散并驻留在客户端设备上的情况下，SSL必须与隐私感知培训技术（如联邦学习）集成。我们认为，联邦图像分类的问题，并研究现有的联邦SSL（FSSL）的方法的性能和隐私的挑战。首先，我们注意到，即使是最先进的FSSL算法也可能轻微地损害客户端隐私和其他现实世界的约束，如客户端无状态和通信成本。其次，我们观察到将EMA（指数移动平均线）更新集成到联邦设置中具有挑战性，这需要在性能和通信成本之间进行权衡。我们提出了一种新的方法FedSwitch，通过指数移动平均（EMA）更新来提高隐私和泛化性能。FedSwitch利用联邦半监督教师-学生EMA框架，具有两个功能-本地教师自适应和教师和学生之间的自适应切换以生成伪标签。我们提出的方法优于联邦图像分类的最先进的，可以适应现实世界的约束，并实现了良好的泛化性能，最小的通信成本开销。
2023-01-24 cs.LG
Weakly Supervised Scalable Audio Content Analysis
Carnegie Mellon University（卡内基梅隆大学）
音频事件检测是多媒体数据内容分析的一项重要任务。当前大多数关于音频事件检测的工作是通过监督学习方法来驱动的。我们提出了一个弱监督学习框架，它可以利用大量的Web多媒体数据，显着减少注释工作和费用。具体来说，我们使用几个多实例学习算法，以表明通过弱标签的音频事件检测是可行的。我们还提出了一种新的可扩展的多实例学习算法，并表明其竞争力与其他多实例学习算法的音频事件检测任务。
2016-06-12 cs.LG cs.MM cs.SD
Cross-client Label Propagation for Transductive and Semi-Supervised Federated Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究提出基于两种密码安全协议的跨客户端标签传播方法XCLP，可在不共享数据的前提下实现联邦学习下的标签传播，在直推式测试标注与半监督伪标注任务中准确率均优于现有方法。
2023-12-12 cs.LG
Semi-supervised Federated Learning for Activity Recognition
Imperial College London（帝国理工学院）
在家庭物联网传感数据上训练深度学习模型通常用于识别人类活动。最近，使用边缘设备作为客户端来支持本地人类活动识别的联邦学习系统已经成为一种新的范式，可以将本地（个人级别）和全局（组级别）模型结合起来。与传统的集中式分析和学习模型相比，这种方法提供了更好的可扩展性和可推广性，也提供了更好的隐私性。然而，联邦学习背后的假设依赖于客户端的监督学习。这需要大量的标记数据，这在不受控制的物联网环境中很难收集，例如远程家庭监控。在本文中，我们提出了一个活动识别系统，使用半监督联邦学习，其中客户端进行无监督学习的自编码器与未标记的本地数据学习一般表示，和云服务器进行监督学习的活动分类器与标记的数据。我们的实验结果表明，使用长短期记忆自动编码器和Softmax分类器，我们提出的系统的准确性高于集中式系统和使用数据增强的半监督联邦学习。准确性也与监督式联邦学习系统相当。同时，我们证明了我们的系统可以减少所需的标签数量和局部模型的大小，并具有更快的局部活动识别速度比监督联邦学习。
2021-03-31 cs.AI cs.LG
Federated Self-Supervised Learning in Heterogeneous Settings: Limits of a Baseline Approach on HAR
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
联邦学习是一种新的机器学习范式，用于处理独立设备上的分布式模型学习。联邦学习的众多优点之一是训练数据保留在设备上（如智能手机），并且只有学习的模型与集中式服务器共享。在监督学习的情况下，标记委托给客户端。然而，获取这样的标签对于许多任务（例如人类活动识别）来说可能是极其昂贵且容易出错的。因此，大量的数据仍然没有标记和利用。大多数现有的联邦学习方法主要集中在监督学习上，大多忽略了大量未标记的数据。此外，尚不清楚标准联邦学习方法是否适合自监督学习。处理这个问题的少数研究局限于同质数据集的有利情况。这项工作为在现实环境中使用半监督学习对联邦学习进行参考评估奠定了基础。我们表明，标准的轻量级自动编码器和标准的联邦平均无法学习一个强大的表示人类活动识别与几个现实的异构数据集。这些研究结果主张在联邦自监督学习中进行更深入的研究，以利用移动设备上存在的大量异构未标记数据。
2022-07-17 cs.AI cs.LG
FedSSC: Shared Supervised-Contrastive Federated Learning
Harvard University（哈佛大学）
联邦学习被广泛用于在多个设备上执行全局模型的分散训练，同时保护每个设备的数据隐私。然而，它受到每个训练设备上的异构本地数据的影响，这增加了达到与集中式训练相同的准确度水平的难度。有监督的对比学习优于交叉熵，它试图最小化属于同一类的点的特征空间之间的差异，并将不同类的点推开。我们提出了监督对比联邦学习，其中设备可以彼此共享学习的类特征空间，并添加监督对比学习损失作为正则化项来促进特征空间学习。损失试图最小化特征图与来自同一类别中的另一设备的平均特征图之间的余弦相似性距离，并最大化特征图与不同类别中的特征图之间的距离。这个新的正则化项被添加到月球正则化项的顶部时，发现在解决异构数据分布问题方面优于其他最先进的正则化项。
2023-01-14 cs.LG
FedTriNet: A Pseudo Labeling Method with Three Players for Federated Semi-supervised Learning
Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）；Georgia State University（佐治亚州立大学）
联邦学习在分布式数据利用和隐私保护方面显示出巨大的潜力。大多数现有的联邦学习方法都集中在监督设置上，这意味着存储在每个客户端中的所有数据都有标签。然而，在实际应用中，客户端数据不可能被完全标记。因此，如何有效利用未标记数据是联邦学习面临的新挑战。虽然有一些研究试图克服这一挑战，但它们可能会遭受信息泄漏或误导信息使用的问题。为了解决这些问题，在本文中，我们提出了一种新的联邦半监督学习方法命名为FedTriNet，它包括两个学习阶段。在第一阶段，我们使用FedAvg中的标记数据预训练FedTriNet。在第二阶段，我们的目标是让大部分未标记的数据来帮助模型学习。特别是，我们建议使用三个网络和一个动态质量控制机制来为未标记的数据生成高质量的伪标签，并将其添加到训练集中。最后，FedTriNet使用新的训练集重新训练模型。在三个公开数据集上的实验结果表明，所提出的FedTriNet在IID和Non-IID设置下的性能优于最先进的基线。
2021-12-11 cs.LG
FedMAE: Federated Self-Supervised Learning with One-Block Masked Auto-Encoder
The University of Sydney（悉尼大学）；Shandong University（山东大学）
最新的联邦学习（FL）方法开始关注如何在客户端使用未标记的数据进行训练，这是由于用户的隐私问题，高标记成本或缺乏专业知识。然而，目前的联邦半监督/自监督学习（FSSL）方法无法学习大规模的图像，因为本地客户端的计算资源有限。在本文中，我们介绍了一个新的框架FedMAE，它代表联邦掩码自编码器，以解决如何利用未标记的大规模图像的FL的问题。具体地说，FedMAE可以预训练一个块掩码自编码器（MAE）使用大图像在轻量级客户端设备，然后级联多个预训练的一个块MAE在服务器上构建一个多块ViT骨干的下游任务。理论分析和实验结果表明，我们的FedMAE实现了优越的性能相比，国家的最先进的FSSL方法。
2023-03-20 cs.AI cs.LG
Client-supervised Federated Learning: Towards One-model-for-all Personalization
本文提出客户端监督联邦学习（FedCS），通过揭示客户端对实例潜在表示的偏差，仅训练一个鲁棒全局模型即可直接部署到未见客户端，性能媲美需适配的个性化联邦学习方法。
2024-03-28 cs.LG
Federated Semi-Supervised Domain Adaptation via Knowledge Transfer
Michigan Technological University（密歇根理工大学）；University of Hong Kong（香港大学）
鉴于机器学习环境的快速变化和数据标注的昂贵性，当源域的标注数据与目标域的部分标注数据在统计上存在差异时，半监督领域自适应（SSDA）算法势在必行。大多数以前的SSDA研究都是集中进行的，需要访问源数据和目标数据。然而，现在许多领域的数据是由分布式终端设备生成的。由于隐私问题，数据可能存储在本地，无法共享，导致现有SSDA研究无效。本文提出了一种新的方法来实现多个分布式和机密数据集上的SSDA，命名为联邦半监督领域自适应（FSSDA）。FSSDA基于策略设计的知识蒸馏技术将SSDA与联邦学习相结合，通过并行执行源和目标训练来提高其效率。此外，FSSDA通过适当地选择关键参数来控制跨领域转移的知识量，即，模仿参数。此外，所提出的FSSDA可以有效地推广到多源领域自适应的情况。大量的实验证明了FSSDA设计的有效性和效率。
2022-07-25 cs.LG
Distantly Supervised Relation Extraction in Federated Settings
University of Chinese Academy of Sciences（中国科学院大学）
本文研究了联邦环境下的远程监督关系抽取。以前的研究集中在集中训练的假设下，需要从不同的平台收集文本并将其存储在一台机器上。然而，集中培训面临着两个问题的挑战，即数据壁垒和隐私保护，这使得集中多个平台的数据几乎不可能或成本过高。因此，在联邦学习范式中研究远程监督是值得的，它将模型训练从对原始数据的直接存取的需要中分离出来。然而，在联邦设置中，克服远程监督的标签噪声变得更加困难，因为包含相同实体对的句子可能分散在不同的平台上。在本文中，我们提出了一个联邦去噪框架来抑制联邦设置中的标签噪声。该框架的核心是一种基于多实例学习的去噪方法，该方法能够通过跨平台协作选择可靠的实例。在纽约时报数据集和miRNA基因调控关系数据集上的实验结果表明了该方法的有效性。
2020-08-12 cs.CL cs.LG
FedSEAL: Semi-Supervised Federated Learning with Self-Ensemble Learning and Negative Learning
University of Miami（迈阿密大学）
联邦学习（FL）是一种流行的去中心化和隐私保护的机器学习（FL）框架，近年来受到了广泛的研究关注。大多数现有的工作集中在监督学习（SL）的问题，它是假设客户端进行标记的数据集，而服务器没有数据。然而，在现实场景中，由于缺乏专业知识和动机，客户端通常无法标记其数据，而服务器可能托管少量标记的数据。因此，如何合理利用服务器端的标记数据和客户端的未标记数据具有重要的现实意义。在本文中，我们提出了一个新的FL算法，称为FedSEAL，解决这个半监督联邦学习（SSFL）的问题。我们的算法利用自集成学习和互补的负学习来提高客户端对未标记数据的无监督学习的准确性和效率，并协调服务器端和客户端的模型训练。我们在Fashion-MNIST和CIFAR 10数据集上的实验结果验证了我们的方法的有效性，其性能大大优于最先进的SSFL方法。
2022-06-08 cs.LG
Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning
KAIST（韩国科学技术院）；AITRICS
虽然现有的联邦学习方法大多要求客户端具有完全标记的数据来进行训练，但在现实环境中，在客户端获得的数据通常没有任何附带的标签。这种标签的不足可能是由于高的标签成本，或由于需要专家知识而难以注释。因此，在每个客户端的私有数据可能是部分标记，或完全未标记的标记数据是只在服务器上可用，这导致我们一个新的实际联邦学习问题，即联邦半监督学习（FSSL）。在这项工作中，我们研究了两个基本的情况下，FSSL的标记数据的位置的基础上。第一个场景考虑的是传统的情况，其中客户端具有标记和未标记的数据（客户端标记），第二个场景考虑的是更具挑战性的情况，其中标记的数据仅在服务器上可用（服务器标记）。然后，我们提出了一种新的方法来解决这些问题，我们称之为联邦匹配（FedMatch）。FedMatch改进了联邦学习和半监督学习方法的简单组合，具有新的客户端间一致性损失和对标记和未标记数据进行不相交学习的参数分解。通过在两种不同场景下对我们的方法进行广泛的实验验证，我们表明我们的方法优于局部半监督学习和基线，后者天真地将联邦学习与半监督学习结合起来。该代码可在https://github.com/wyjeong/FedMatch上获得。
2021-03-29 cs.LG stat.ML
Federated Self-supervised Learning for Heterogeneous Clients
University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习由于其隐私性和计算性的优点而成为一种重要的学习范式。随着该领域的发展，仍然需要解决的两个关键挑战是：（1）系统异构性-每个客户端上存在的计算和/或数据资源的可变性，以及（2）在某些联合设置中缺乏标记数据。最近的一些事态发展试图独立地克服这些挑战。在这项工作中，我们提出了一个统一的和系统的框架，\emph{Heterogeneous Self-supervised Federated Learning}（异质SSFL），使自监督学习与联邦异构客户端。所提出的框架允许协作表示学习在所有的客户端，而不施加架构约束或要求存在的标记数据。Hetero-SSFL的核心思想是让每个客户端训练其独特的自监督模型，并通过在公共数据集上对齐低维表示来实现跨客户端的联合学习。整个训练过程可以被视为自我和同行监督，因为本地训练和对齐过程都不需要存在任何标记数据。与传统的自监督学习一样，所获得的客户端模型与任务无关，可以用于不同的终端任务。我们提供了一个收敛性的保证，所提出的框架，在异构环境中的非凸目标，也经验证明，我们提出的方法优于最先进的方法的显着利润率。
2022-05-31 cs.DC cs.LG
Semi-Supervised Federated Learning for Keyword Spotting
Amazon, Alexa AI（亚马逊Alexa人工智能部门）
本研究提出并验证了半监督联邦学习在关键词识别中的应用，利用设备端无标签数据与服务器端少量有标签数据，显著提升模型性能。
2023-05-09 cs.LG eess.AS
UFed-GAN: A Secure Federated Learning Framework with Constrained Computation and Unlabeled Data
University of California, Davis（加州大学戴维斯分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
本文提出UFed-GAN框架，通过无监督联邦生成对抗网络在资源受限且无标签环境下捕获用户数据分布，兼顾隐私保护与低计算需求。
2023-08-10 cs.LG eess.SP
FedSiam: Towards Adaptive Federated Semi-Supervised Learning
USTC（中国科学技术大学）；UESTC（电子科技大学）；Purdue University（普渡大学）；Penn State University（宾夕法尼亚州立大学）；Georgia State University（佐治亚州立大学）
联邦学习（FL）已经成为一种有效的技术，可以在不实际共享数据和泄露隐私的情况下共同训练机器学习模型。然而，大多数现有的FL方法侧重于监督设置，忽略了未标记数据的利用。虽然有一些现有的研究试图将未标记的数据到FL，他们都不能保持性能保证或泛化能力，在各种现实世界的设置。在本文中，我们专注于设计一个通用框架FedSiam，以解决联邦半监督学习的不同场景，包括标签在客户端场景中的四个设置和标签在服务器场景中的两个设置。FedSiam是建立在一个到FL的连体网络上的，它有一个动量更新来处理未标记数据带来的非IID挑战。我们进一步提出了一个新的度量标准来衡量暹罗网络内的局部模型层的分歧。根据分歧，FedSiam可以自动选择图层级别的参数，以自适应的方式上传到服务器。在两种不同数据分布设置的场景下对三个数据集的实验结果表明，所提出的FedSiam框架优于最先进的基线。
2021-07-05 cs.LG
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology（埃因霍温理工大学）
联邦学习是一种分布式机器学习范式，处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上，因此标签被委托给客户端，或者以自动化的方式提取标签。具体地，在音频数据的情况下，获取语义注释可能是极其昂贵和耗时的。因此，大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上，而没有利用未标记的数据。在这项工作中，我们研究的问题，半监督学习的音频模型，通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明，自我监督的预训练模型可以加速设备上模型的训练，显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验，并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是，我们发现，与完全监督的联邦模型相比，只有3%的标记数据可用，FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning
The Hong Kong Polytechnic University（香港理工大学）；Harvard University（哈佛大学）
为了消除传统联邦学习（FL）中对全标记数据进行监督模型训练的要求，自监督学习（SSL）方法在FL中的应用受到了广泛关注，以解决标记稀缺问题。以前关于联邦SSL的工作通常分为两类：基于参数的模型聚合（即，FedAvg，适用于同类情况）或基于数据的特征共享（即，知识蒸馏，适用于异构案例），以实现多个未标记客户端之间的知识转移。尽管取得了进展，但所有这些都不可避免地依赖于一些假设，例如同质模型或存在额外的公共数据集，这阻碍了培训框架在更一般情景中的普遍性。因此，在本文中，我们提出了一种新的和一般的方法命名为联邦自监督学习与基于相关性的聚合（FedFoA），以解决上述限制的通信效率和隐私保护的方式。我们的见解是利用特征相关性来对齐特征映射，并在客户端的本地训练过程中校准本地模型更新。更具体地说，我们设计了一种基于因子分解的方法来提取跨特征关系矩阵的本地表示。然后，将关系矩阵作为语义信息的载体进行聚合。我们证明了FedFoA是一个与模型无关的训练框架，可以很容易地与最先进的无监督FL方法兼容。大量的实证实验表明，我们提出的方法优于国家的最先进的方法的显着保证金。
2022-11-14 cs.LG
Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
深度学习方法的最新进展使计算机辅助更接近实现更安全的外科手术的承诺。然而，这种方法的通用性通常取决于来自多个医疗机构的不同数据集的训练，考虑到医疗数据的敏感性，这是一个限制性要求。最近提出的协作学习方法，如联邦学习（FL）允许在远程数据集上进行训练，而无需显式地共享数据。即便如此，数据注释仍然是一个瓶颈，特别是在经常需要临床专业知识的医学和外科领域。考虑到这些限制，我们提出了FedCy，一种联合半监督学习（FSSL）方法，它结合了FL和自监督学习来利用标记和未标记视频的分散数据集，从而提高了手术阶段识别任务的性能。通过利用标记数据中的时间模式，FedCy有助于引导对未标记数据的无监督训练，以学习用于相位识别的任务特定特征。我们证明了显着的性能增益超过国家的最先进的FSSL方法的任务，自动识别手术阶段使用新收集的多机构数据集的腹腔镜胆囊切除术视频。此外，我们还证明了我们的方法在对来自未知领域的数据进行测试时，还可以学习更多可推广的功能。
2022-12-28 cs.AI cs.CV cs.LG
CATCHFed: Efficient Unlabeled Data Utilization for Semi-Supervised Federated Learning in Limited Labels Environments
Dept. of Computer and Information Science, Korea University, Sejong, South Korea（韩国大学计算机与信息科学系）；Department of Computer Science, University of Surrey, Guildford, United Kingdom（塞弗里大学计算机科学系）；Dept. of Semiconductor Engineering, Seoul National University of Science and Technology, Seoul, South Korea（首尔科学技术大学半导体工程系）；Dept. of Electrical and Information Engineering, Seoul National University of Science and Technology, Seoul, South Korea（首尔科学技术大学电气与信息工程系）
针对有限标签环境下半监督联邦学习标记数据减少导致性能下降的问题，提出CATCHFed，通过客户端感知自适应阈值、混合阈值及非伪标记数据一致性正则化，有效利用未标记数据提升性能。
2025-11-19 cs.LG
FedCon: A Contrastive Framework for Federated Semi-Supervised Learning
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Penn State University（宾夕法尼亚州立大学）；Purdue University（普渡大学）；Georgia State University（佐治亚州立大学）
联邦半监督学习（Federated Semi-Supervised Learning，FedSSL）以其独特的协同训练机器学习模型的特性，得到了学术界和工业界的广泛关注。现有的大多数FedSSL方法都集中在经典的场景中，即标记和未标记的数据存储在客户端。然而，在现实世界的应用中，客户端用户可能不会在没有任何激励的情况下提供标签。因此，标签在服务器端的场景更实用。由于未标记的数据和标记的数据是解耦的，大多数现有的FedSSL方法可能无法处理这样的场景。为了克服这个问题，在本文中，我们提出了FedCon，它引入了一个新的学习范式，即，收缩学习，到FedSSL。在三个数据集上的实验结果表明，与IID和Non-IID设置下的最新基线相比，FedCon在收缩框架下实现了最佳性能。此外，消融研究表明，所提出的FedCon框架的特点。
2021-09-09 cs.LG
Dual Class-Aware Contrastive Federated Semi-Supervised Learning
Xi’an Jiaotong University（西安交通大学）
提出双类别感知对比联邦半监督学习（DCCFSSL），通过统一训练目标和对比信息缓解客户端偏差与确认偏差，仅用10%有标签客户端即超越标准联邦监督学习。
2023-05-07 cs.LG
SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling
University of Southern California（南加州大学）；Emory University（埃默里大学）；Xidian University（西安电子科技大学）
联邦学习使移动电话和组织等多个客户端能够协作学习共享模型进行预测，同时保护本地数据隐私。然而，联邦学习的最新研究和应用假设所有客户端都有完全标记的数据，这在现实世界中是不切实际的。在这项工作中，我们专注于跨筒仓联邦学习的新场景，其中每个客户端的数据样本被部分标记。我们借鉴了半监督学习方法的思想，在这种方法中，尽管对标记示例的访问有限，但仍利用大量未标记数据来提高模型的准确性。我们提出了一个名为SemiFed的新框架，它统一了半监督学习的两种主要方法：一致性正则化和伪标记。SemiFed首先应用先进的数据增强技术来执行一致性正则化，然后在训练期间使用模型的预测生成伪标签。SemiFed利用了联邦的优势，因此对于给定的图像，只有当来自不同客户端的多个模型产生高置信度预测并同意相同的标签时，伪标签才有效。在两个图像基准上的大量实验证明了我们的方法在同质和异构数据分布设置下的有效性
2021-08-21 cs.CV cs.LG
SemiFL: Semi-Supervised Federated Learning for Unlabeled Clients with Alternate Training
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
联邦学习允许通过使用许多分布式客户端的计算和私有数据资源来训练机器学习模型。联邦学习（FL）的大多数现有结果假设客户端具有地面真实标签。然而，在许多实际场景中，由于缺乏专业知识或资源，客户端可能无法标记特定于任务的数据。我们提出SemiFL来解决将FedAvg等通信效率高的FL与半监督学习（SSL）相结合的问题。在SemiFL中，客户端具有完全未标记的数据，并且可以训练多个本地epoch以降低通信成本，而服务器具有少量的标记数据。我们提供了一个成功的数据增强为基础的SSL方法的理论理解，以说明一个香草组合的通信效率FL与SSL的瓶颈。为了解决这个问题，我们提出了替代训练，以“用标记数据微调全局模型”和“用全局模型生成伪标签”。“我们进行了广泛的实验，并证明我们的方法显着提高了标记服务器的性能，而未标记客户端使用多个本地时期进行训练。此外，我们的方法优于许多现有的SSFL基线，并与最先进的FL和SSL结果竞争。
2022-10-11 cs.LG
Federated Semi-Supervised Learning with Annotation Heterogeneity
Xiamen University（厦门大学）；Zhejiang University（浙江大学）；Hong Kong Baptist University（香港浸会大学）；Zhejiang Lab（之江实验室）
联邦半监督学习（Federated Semi-Supervised Learning，FSSL）的目标是在一个既有标记数据又有未标记数据的环境中，从不同的客户端学习一个全局模型。大多数现有的FSSL工作通常假设两种类型的数据在每个客户端上都可用。在本文中，我们研究了一个更一般的问题设置FSSL的注释异构性，其中每个客户端可以持有任意百分比（0%-100%）的标记数据。为此，我们提出了一种新的FSSL框架称为异质注释半监督学习（HASSLE）。具体来说，它是一个双模型框架，两个模型分别在标记和未标记的数据上训练，这样它就可以简单地应用于具有任意标记百分比的客户端。此外，一个相互学习的策略，称为监督-无监督的相互对齐（SUMA）提出了在HASSLE与全局残差对齐和模型邻近对齐的双模型。随后，双模型可以隐式地从不同客户端的两种类型的数据中学习，尽管每个双模型只在本地对单一类型的数据进行训练。实验证明，SUMA学习的HASSLE中的双模型可以相互学习，从而有效地利用跨不同客户端的两种类型的数据的信息。
2023-03-04 cs.LG
Little is Enough: Boosting Privacy by Sharing Only Hard Labels in Federated Semi-Supervised Learning
Institute for Neuroinformatics, Ruhr University Bochum（波鸿鲁尔大学神经信息学研究所）；Monash University（莫纳什大学）；Case Western Reserve University（凯斯西储大学）；Carenostics（Carenostics公司）
提出联邦协同训练方法FedCT，通过仅共享公共无标签数据集上的硬标签作为伪标签进行本地训练，在提升隐私的同时保持模型质量，并支持非参数聚合模型及大语言模型微调。
2024-12-20 cs.LG
Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning
Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
语音情感识别（SER）是指从自然语音中识别人类情感。如果准确地完成，它可以在构建以人为中心的上下文感知智能系统方面提供许多好处。现有的SER方法在很大程度上是集中式的，没有考虑用户的隐私。联邦学习（FL）是一种分布式机器学习范式，用于处理隐私敏感个人数据的分散化。在本文中，我们提出了一个隐私保护和数据高效的SER方法，利用FL的概念。据我们所知，这是第一个联邦SER方法，它利用自我训练学习结合联邦学习，利用标记和未标记的设备上的数据。我们对IEMOCAP数据集的实验评估表明，即使在数据标签可用性低和高度非独立同分布的情况下，我们的联邦方法也可以学习可推广的SER模型。分布。我们表明，与完全监督的联邦同行相比，我们的方法平均只需10%的标记数据，就可以将识别率提高8.67%。
2022-02-05 cs.AI cs.LG cs.SD
DRL-Based Federated Self-Supervised Learning for Task Offloading and Resource Allocation in ISAC-Enabled Vehicle Edge Computing
School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学信息科学与技术国家研究中心电子工程系）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室和电信工程学院）；Department of Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子工程系）；Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)（香港科技大学电子与计算机工程系）
针对ISAC赋能的车辆边缘计算，提出基于DRL的改进联邦自监督学习算法，通过部分任务卸载与资源分配优化能耗，提升卸载效率与模型精度。
2025-06-19 cs.DC cs.LG cs.NI
Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation
Sony AI（索尼人工智能）；University of Central Florida（中央佛罗里达大学）
本文提出实用半监督联邦学习框架FedMox，通过稀疏专家混合架构解决边缘设备计算受限与标注数据稀缺问题，在自动驾驶目标检测任务中验证了其有效性和隐私保护优势。
2025-08-22 cs.CV cs.LG
Federated Self-Supervised Learning for One-Shot Cross-Modal and Cross-Imaging Technique Segmentation
Hong Kong Baptist University（香港浸会大学）；Narayana Superspeciality Hospital（纳拉亚纳超级专科医院）；National Institute of Technology Durgapur（杜尔加布尔国家理工学院）；Indian Institute of Technology（印度理工学院）
本研究将自监督少样本分割框架CoWPro适配至联邦学习，实现一次性跨模态/成像技术分割，并引入融合Dice损失提升性能，在未见数据上达到或超越FedAvg基线。
2025-03-30 cs.CV cs.LG eess.IV
(FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning
KAIST（韩国科学技术院）
针对联邦半监督学习因确认偏差导致性能不及集中式半监督学习的问题，提出带锐度感知一致性正则化的(FL)²方法，结合样本筛选、客户端自适应阈值与学习状态感知聚合，在三个基准数据集上显著提升性能、缩小差距。
2024-10-31 cs.LG
A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning
针对纵向联邦学习中未对齐、无标签数据未被利用的问题，提出FedHSSL混合自监督框架，融合跨方视图与局部增强视图并进行部分聚合，显著提升性能且实现更优隐私-效用权衡。
2023-06-08 cs.LG
Federated Semi-Supervised Learning with Prototypical Networks
Seoul National University（首尔国立大学）；Google Research（谷歌研究院）；AWS AI Labs（亚马逊云科技人工智能实验室）
随着边缘设备计算能力的提高，联邦学习（FL）应运而生，可以在没有隐私问题的情况下进行模型训练。大多数现有的研究假设数据在客户端完全标记。然而，在实践中，标记数据的量通常是有限的。最近，联邦半监督学习（FSSL）被探索为一种在训练过程中有效利用未标记数据的方法。在这项工作中，我们提出了ProtoFSSL，一种新的FSSL方法的基础上原型网络。在ProtoFSSL中，客户端通过轻量级原型彼此共享知识，这防止了本地模型的发散。为了计算未标记数据的损失，每个客户端基于共享原型创建准确的伪标签。与标记数据一起，伪标签为本地原型提供训练信号。与基于权重共享的FSSL方法相比，基于原型的客户端间知识共享显着降低了通信和计算成本，从而使更多客户端之间的知识共享更加频繁，从而提高了准确性。在多个数据集中，ProtoFSSL的结果更高的准确性相比，最近的FSSL方法与知识共享，如FixMatch，FedRGD和FedMatch。在SVHN数据集上，ProtoFSSL执行从完全监督的FL方法。
2022-05-30 cs.AI cs.LG
SSFL: Tackling Label Deficiency in Federated Learning via Personalized Self-Supervision
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加利福尼亚大学）
联邦学习（FL）正在将ML训练生态系统从集中式云环境转变为边缘设备上的分布式训练，以加强数据隐私。FL中一个重要但很少研究的挑战是边缘的标签缺陷。与集中式训练相比，这个问题在FL中更加突出，因为FL用户通常不愿意标记他们的私人数据。此外，由于边缘设备上数据的异构性，开发个性化模型至关重要。在本文中，我们提出了自我监督的联邦学习（SSFL），一个统一的自我监督和个性化的联邦学习框架，以及一系列的算法在这个框架下，努力解决这些挑战。首先，在SSFL框架下，我们证明了标准FedAvg算法与最近在集中式自监督学习（如SimSiam网络）中的突破是兼容的。此外，为了处理该框架中边缘设备的数据异构性，我们创新了一系列算法，将现有的监督个性化算法扩展到自监督学习的设置中。我们进一步提出了一种新的个性化联邦自监督学习算法Per-SSFL，它通过仔细调节数据的局部和全局表示之间的距离来平衡个性化和共识。为了提供一个全面的比较分析，所有提出的算法，我们还开发了一个分布式的训练系统和相关的评估协议的SSFL。我们的研究结果表明，监督学习和无监督学习在外语学习中的评价准确率差距很小，而且是合理的。性能比较表明，基于表示正则化的个性化方法能够优于其他变体。
2021-10-06 cs.AI cs.LG
Federated Learning for Face Recognition via Intra-subject Self-supervised Learning
KakaoBank Corp.（KakaoBank公司）
本文提出FedFS框架，通过自适应软标签构建和主体内自监督学习两大组件及正则化损失，解决人脸识别联邦学习中自监督学习融合不足和多主体限制问题，在DigiFace-1M和VGGFace数据集上表现优于以往方法。
2024-07-23 cs.AI cs.CV cs.LG
Federated Model Aggregation via Self-Supervised Priors for Highly Imbalanced Medical Image Classification
The Hong Kong University of Science and Technology（香港科技大学）；University of Girona（赫罗纳大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
本文针对高度不平衡医学图像数据集的联邦学习问题，提出基于自监督先验的动态平衡模型聚合方法 Fed-MAS，利用共享辅助预训练模型测量类内差异，指导全局模型优化，实现鲁棒且无偏的分类。
2023-07-27 cs.CV cs.LG
Addressing Class Variable Imbalance in Federated Semi-supervised Learning
School of Data Science and Application, Inner Mongolia University of Technology（内蒙古工业大学数据科学与应用学院）
本文提出FCVI算法，通过类别变量学习机制缓解联邦半监督学习中因设备更迭与类别数量变化导致的数据不平衡问题，在保护隐私的同时显著优于基线方法。
2023-03-21 cs.AI cs.LG
Federated Graph Representation Learning using Self-Supervision
Purdue University（普渡大学）；Microsoft（微软）
联邦图表示学习（FedGRL）为图结构化数据带来了分布式训练的好处，同时解决了与数据整理相关的一些隐私和合规性问题。然而，在当前的FedGRL设置中，没有考虑到几个有趣的真实世界图数据特征，即标签不足和下游任务异构性。在本文中，我们考虑了一个现实的和新颖的问题设置，其中跨筒仓客户端可以访问大量的未标记的数据与有限的或没有标记的数据，另外有不同的下游类标签域。然后，我们提出了一种新的基于模型插值的FedGRL公式，我们的目标是学习一个共享的全局模型，该模型使用自监督目标进行协作优化，并通过本地客户端模型进行下游任务监督。我们使用BGRL SoTA自监督图表示学习方法提供了我们的一般公式的具体实例，并且我们通过现实的跨slio数据集实证验证了其有效性：（1）我们适应自然模拟跨地理场景的Twitch Gamer网络，并表明我们的公式可以提供一致和平均。比传统的监督式联邦学习目标和平均值提高了6.1%。与单个客户特定的自我监督训练相比，我们获得了1.7%的收益;（2）我们构建并引入了一个名为Amazon Co-purchase Networks的新的跨筒仓数据集，该数据集具有激励问题设置的两个特征。而且，我们在avg上见证。比传统的监督式联邦学习和avg提高了11.5%。比单独训练的自监督模型提高1.9%。这两个实验结果表明，我们提出的配方的有效性。最后，我们新的问题设置和数据集的贡献提供…
2022-10-27 cs.LG
Label-Efficient Self-Supervised Federated Learning for Tackling Data Heterogeneity in Medical Imaging
Stanford University（斯坦福大学）；The University of Hong Kong（香港大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
收集和管理来自多个机构的大规模医疗数据集对于训练准确的深度学习模型至关重要，但隐私问题通常会阻碍数据共享。联邦学习（FL）是一种很有前途的解决方案，它可以在不同机构之间实现隐私保护的协作学习，但由于数据分布的异构性和缺乏高质量的标记数据，它通常会受到性能恶化的影响。在本文中，我们提出了一个强大的和标签效率的自监督FL框架的医学图像分析。我们的方法引入了一种新的基于transformer的自监督预训练范式，该范式使用掩码图像建模直接在分散的目标任务数据集上预训练模型，以促进对异构数据的更鲁棒的表示学习和向下游模型的有效知识转移。在模拟和真实世界的医学成像非IID联邦数据集上的大量实证结果表明，使用Transformers进行掩码图像建模可以显著提高模型对各种程度的数据异质性的鲁棒性。值得注意的是，在严重的数据异质性下，与ImageNet预训练的监督基线相比，我们的方法在不依赖任何额外的预训练数据的情况下，在视网膜，皮肤病学和胸部X射线分类的测试准确性方面分别提高了5.06%，1.53%和4.58%。此外，我们还表明，与现有的FL算法相比，我们的联邦自监督预训练方法产生的模型可以更好地推广到分布外的数据，并且在使用有限的标记数据进行微调时表现得更有效。该代码可在https://github.com/rui-yan/SSL-FL上获得。
2023-01-11 cs.CV cs.LG
Federated Semi-supervised Learning for Medical Image Segmentation with intra-client and inter-client Consistency
Shanghai Jiao Tong University（上海交通大学）；Shanghai Chest Hospital（上海市胸科医院）
提出一种用于医学图像分割的联邦半监督学习框架，通过客户端内和客户端间一致性学习及协作训练的VAE模型平滑预测并避免确认偏差，在优于现有方法的同时显著降低计算与通信开销。
2024-03-19 cs.CV cs.LG eess.IV
Self-supervised Cross-silo Federated Neural Architecture Search
Webank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
针对纵向联邦学习中人工架构难最优、现有联邦NAS成本高且依赖标签的问题，提出SS-VFNAS，通过本地自监督NAS与监督式协同改进，获得高效、隐私友好且可迁移的异构架构。
2021-02-18 cs.CV cs.DC cs.LG
Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence
Eindhoven University of Technology（埃因霍温理工大学）；RMIT University（皇家墨尔本理工大学）
智能手机、可穿戴设备和物联网（IoT）设备产生大量数据，由于隐私、带宽限制和高昂的注释成本，这些数据无法积累在集中式存储库中用于学习监督模型。联邦学习为从分散的数据中学习模型提供了一个令人信服的框架，但传统上，它假设标记样本的可用性，而设备上的数据通常是未标记的，或者无法通过用户交互进行注释。为了解决这些问题，我们提出了一种自监督的方法称为\textit{scalogram-signal correspondence learning}基于小波变换学习有用的表示从未标记的传感器输入，如脑电图，血容量脉冲，加速度计，和WiFi信道状态信息。我们的辅助任务需要深度时间神经网络来确定给定的一对信号及其互补视点（即，利用小波变换生成的尺度图）通过优化对比目标而彼此对准或不对准。我们通过多视图策略在不同的公共数据集上广泛评估学习特征的质量，在所有领域都取得了良好的表现。我们证明了从下游任务的未标记输入集合中学习的表示的有效性，通过预训练网络训练线性分类器，在低数据状态下的有用性，迁移学习和交叉验证。我们的方法在完全监督的网络中实现了具有竞争力的性能，并且在中央和联邦上下文中都优于使用自动编码器进行的预训练。值得注意的是，它提高了半监督设置中的泛化能力，因为它通过利用自监督学习减少了所需的标记数据量。
2020-07-25 cs.LG stat.ML
Semi-Supervised Federated Learning with non-IID Data: Algorithm and System Design
Heilongjiang University（黑龙江大学）；Dalian Minzu University（大连民族大学）；Nanyang Technological University（南洋理工大学）；WeBank Co. Ltd.（微众银行）
联邦学习（FL）允许边缘设备（或客户端）在本地保存数据，同时训练共享的高质量全局模型。然而，当前的研究通常基于本地客户端的训练数据具有地面实况的假设。此外，FL面临着统计异质性的挑战，即，客户端的本地训练数据的分布是非独立同分布的（非IID）。在本文中，我们提出了一个强大的半监督FL系统的设计，该系统的目的是解决数据的可用性和非IID在FL的问题。特别是，本文重点研究的标签在服务器上的情况下，只有有限数量的标记的数据在服务器上，只有未标记的数据在客户端上。在我们的系统设计中，我们提出了一种新的方法来解决这些问题，我们称之为联邦混合（FedMix）。FedMix改进了FL和半监督学习方法的朴素组合，并设计了用于标记、未标记数据和全局模型的分离学习的参数分解策略。为了缓解非IID问题，我们提出了一种新的聚合规则的基础上的客户端的参与训练的频率，即FedFreq聚合算法，它可以调整相应的局部模型的权重，根据这个频率。在CIFAR-10数据集上进行的广泛评估表明，我们提出的方法的性能显着优于目前的基线。值得注意的是，我们的系统对不同的非IID级别的客户端数据都很健壮。
2021-10-26 cs.LG
Federated Self-supervised Domain Generalization for Label-efficient Polyp Segmentation
Xiamen University（厦门大学）
针对医疗数据隐私限制下息肉分割模型泛化不足的问题，本文提出联邦自监督域泛化方法LFDG，结合对抗数据增强和松弛模块提升泛化能力，在6个医疗中心数据集上性能优于基线及近期相关方法。
2025-02-11 cs.CV cs.DC cs.LG
Rethinking Semi-Supervised Federated Learning: How to co-train fully-labeled and fully-unlabeled client imaging data
University of Oxford（牛津大学）
本文针对半监督联邦学习中标注与未标注客户端目标函数不一致的瓶颈，提出隔离联邦学习IsoFed，通过隔离聚合与局部自监督预训练避免简单平均，并在MedMNIST多模态医学影像数据上验证其有效性。
2023-10-28 cs.AI cs.CV cs.LG
DRL-Based Resource Allocation for Motion Blur Resistant Federated Self-Supervised Learning in IoV
School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科技大学国家信息科学与技术研究中心）；Qualcomm（高通）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室及电信工程学院）；Department of Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子工程系）；Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)（香港科技大学电子与计算机工程系）
针对车联网中联邦自监督学习的隐私与运动模糊问题，提出基于SimCo的抗模糊方法BFSSL，并设计DRL资源分配方案以最小化能耗和延迟，仿真验证其有效性。
2025-06-18 cs.CV cs.LG cs.NI
Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach
Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory (Huangpu)（（黄埔）琶洲实验室）；China University of Geosciences（中国地质大学）
随着对无线服务的需求不断增长以及人们对数据保护需求的认识不断提高，现有的网络流量分析和管理架构在对日益多样化的服务和应用进行分类和综合方面面临着前所未有的挑战。本文提出了FS-GAN，联邦自监督学习框架，以支持自动流量分析和合成在大量的异构数据集。FS-GAN由多个分布式生成对抗网络（GANs）组成，具有一组生成器，每个生成器被设计为在单个服务流量的分布之后生成合成数据样本，并且每个生成器被训练以区分合成数据样本和本地数据集的真实数据样本。采用基于联邦学习的框架来协调不同数据集上不同GANs的局部模型训练过程。FS-GAN可以对未知类型的服务数据进行分类，并创建合成样本来捕获未知类型的流量分布。我们证明了FS-GAN可以最小化所有数据集上的真实数据分布与合成数据样本分布之间的Jensen-Shannon Divergence（JSD）。FS-GAN还最大化由不同生成器创建的数据样本分布之间的JSD，导致每个生成器产生遵循与一个特定服务类型相同分布的合成数据样本。大量的仿真结果表明，FS-GAN的分类准确率实现了超过20%的提高，平均相比，最先进的基于聚类的流量分析算法。FS-GAN还能够合成高度复杂的流量类型混合，而不需要任何人工标记的数据样本。
2023-02-01 cs.DC cs.LG cs.NI
Multi-Tier Client Selection for Mobile Federated Learning Networks
Nanyang Technological University（南洋理工大学）
针对移动联邦学习网络中设备移动性导致的客户端选择难题，提出社交感知的SocFedCS方法，通过信任网络传播任务信息，结合Lyapunov优化与交替最小化，在四个真实数据集上实现更高准确率和更低成本。
2023-05-11 cs.DC cs.LG cs.NI
A Framework for Early Sepsis Prediction via Self-Supervised (JEPA) and Federated Representation Learning
研究针对电子健康记录中早期脓毒症预测面临的问题，比较了JEPA等四种建模范式及原始特征基线，最佳模型在发病时接近SupMix基准且减少生物标志物使用，一级管道有显著提升，微调后的VICReg编码器特征持久性最佳。
2026-07-21 cs.LG
Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch
Xiamen University（厦门大学）；Hong Kong Baptist University（香港浸会大学）
针对数据异质性导致FSSL伪标签不匹配及本地、全局模型预测分化的问题，提出SAGE，利用置信度差异校正伪标签，提升性能与收敛性。
2025-03-17 cs.CV cs.LG
Incremental Semi-supervised Federated Learning for Health Inference via Mobile Sensing
South China Normal University（华南师范大学）；University of Virginia（弗吉尼亚大学）
提出FedMobile增量式半监督联邦学习算法，用于移动感知健康推断，解决域偏移、计算负担和数据稀疏问题，在流感样症状识别数据集上取得最优性能。
2023-12-19 cs.CY cs.LG cs.SI
