Federated Self-Supervised Learning for One-Shot Cross-Modal and Cross-Imaging Technique Segmentation
Hong Kong Baptist University（香港浸会大学）；Narayana Superspeciality Hospital（纳拉亚纳超级专科医院）；National Institute of Technology Durgapur（杜尔加布尔国家理工学院）；Indian Institute of Technology（印度理工学院）
本研究将自监督少样本分割框架CoWPro适配至联邦学习，实现一次性跨模态/成像技术分割，并引入融合Dice损失提升性能，在未见数据上达到或超越FedAvg基线。
2025-03-30 cs.CV cs.LG eess.IV
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning
The Hong Kong Polytechnic University（香港理工大学）；Harvard University（哈佛大学）
为了消除传统联邦学习（FL）中对全标记数据进行监督模型训练的要求，自监督学习（SSL）方法在FL中的应用受到了广泛关注，以解决标记稀缺问题。以前关于联邦SSL的工作通常分为两类：基于参数的模型聚合（即，FedAvg，适用于同类情况）或基于数据的特征共享（即，知识蒸馏，适用于异构案例），以实现多个未标记客户端之间的知识转移。尽管取得了进展，但所有这些都不可避免地依赖于一些假设，例如同质模型或存在额外的公共数据集，这阻碍了培训框架在更一般情景中的普遍性。因此，在本文中，我们提出了一种新的和一般的方法命名为联邦自监督学习与基于相关性的聚合（FedFoA），以解决上述限制的通信效率和隐私保护的方式。我们的见解是利用特征相关性来对齐特征映射，并在客户端的本地训练过程中校准本地模型更新。更具体地说，我们设计了一种基于因子分解的方法来提取跨特征关系矩阵的本地表示。然后，将关系矩阵作为语义信息的载体进行聚合。我们证明了FedFoA是一个与模型无关的训练框架，可以很容易地与最先进的无监督FL方法兼容。大量的实证实验表明，我们提出的方法优于国家的最先进的方法的显着保证金。
2022-11-14 cs.LG
Deep Contextualized Acoustic Representations For Semi-Supervised Speech Recognition
Amazon AWS AI（亚马逊AWS人工智能）
提出了一种新的半监督自动语音识别方法。我们首先通过表示学习利用大量未标记的音频数据，在那里我们从过去和未来的上下文帧中重建滤波器组特征的时间切片。然后使用所得到的深度情境化声学表示（DeCoAR）来使用较少量的标记音频数据训练基于CTC的端到端ASR系统。在我们的实验中，我们表明，在DeCoAR上训练的系统始终优于在传统滤波器组特征上训练的系统，在WSJ eval 92和LibriSpeech test-clean上分别比基线提高了42%和19%。我们的方法可以大大减少所需的标记数据量;在LibriSpeech上进行无监督训练，然后用100小时的标记数据进行监督，其性能与直接在所有960小时上进行训练的性能相当。预训练的模型和代码将在线发布。
2020-04-09 cs.CL cs.LG cs.SD
Federated Learning for Face Recognition via Intra-subject Self-supervised Learning
KakaoBank Corp.（KakaoBank公司）
本文提出FedFS框架，通过自适应软标签构建和主体内自监督学习两大组件及正则化损失，解决人脸识别联邦学习中自监督学习融合不足和多主体限制问题，在DigiFace-1M和VGGFace数据集上表现优于以往方法。
2024-07-23 cs.AI cs.CV cs.LG
Federated Semi-supervised Learning for Medical Image Segmentation with intra-client and inter-client Consistency
Shanghai Jiao Tong University（上海交通大学）；Shanghai Chest Hospital（上海市胸科医院）
提出一种用于医学图像分割的联邦半监督学习框架，通过客户端内和客户端间一致性学习及协作训练的VAE模型平滑预测并避免确认偏差，在优于现有方法的同时显著降低计算与通信开销。
2024-03-19 cs.CV cs.LG eess.IV
Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence
Eindhoven University of Technology（埃因霍温理工大学）；RMIT University（皇家墨尔本理工大学）
智能手机、可穿戴设备和物联网（IoT）设备产生大量数据，由于隐私、带宽限制和高昂的注释成本，这些数据无法积累在集中式存储库中用于学习监督模型。联邦学习为从分散的数据中学习模型提供了一个令人信服的框架，但传统上，它假设标记样本的可用性，而设备上的数据通常是未标记的，或者无法通过用户交互进行注释。为了解决这些问题，我们提出了一种自监督的方法称为\textit{scalogram-signal correspondence learning}基于小波变换学习有用的表示从未标记的传感器输入，如脑电图，血容量脉冲，加速度计，和WiFi信道状态信息。我们的辅助任务需要深度时间神经网络来确定给定的一对信号及其互补视点（即，利用小波变换生成的尺度图）通过优化对比目标而彼此对准或不对准。我们通过多视图策略在不同的公共数据集上广泛评估学习特征的质量，在所有领域都取得了良好的表现。我们证明了从下游任务的未标记输入集合中学习的表示的有效性，通过预训练网络训练线性分类器，在低数据状态下的有用性，迁移学习和交叉验证。我们的方法在完全监督的网络中实现了具有竞争力的性能，并且在中央和联邦上下文中都优于使用自动编码器进行的预训练。值得注意的是，它提高了半监督设置中的泛化能力，因为它通过利用自监督学习减少了所需的标记数据量。
2020-07-25 cs.LG stat.ML
A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning
针对纵向联邦学习中未对齐、无标签数据未被利用的问题，提出FedHSSL混合自监督框架，融合跨方视图与局部增强视图并进行部分聚合，显著提升性能且实现更优隐私-效用权衡。
2023-06-08 cs.LG
FedSC: Provable Federated Self-supervised Learning with Spectral Contrastive Objective over Non-i.i.d. Data
University of California, San Francisco（加州大学旧金山分校）；Lehigh University（利哈伊大学）；New Jersey Institute of Technology（新泽西理工学院）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
针对非 i.i.d. 下 FedSSL 全局目标与本地目标加权和不一致的问题，提出基于谱对比目标的 FedSC，通过共享表示相关矩阵实现跨客户端对比，并以 DP 控制隐私泄露。
2024-05-07 cs.CR cs.LG eess.SP
Divergence-aware Federated Self-Supervised Learning
NTU（南洋理工大学）；SenseTime Research（商汤科技研究院）
自监督学习（SSL）能够从集中可用的数据中学习显著的表示。最近的工作进一步实现了使用SSL的联邦学习，以从快速增长的分散式未标记图像（例如，从相机和电话），往往是由于隐私的限制。基于Siamese网络的SSL方法受到了广泛的关注。然而，这样的努力还没有揭示出对联邦自监督学习（FedSSL）架构的各种基本构建块的深刻见解。我们的目标是通过深入的实证研究来填补这一空白，并提出一种新的方法来解决分散数据的非独立同分布（非IID）数据问题。首先，我们介绍了一个广义的FedSSL框架，包括现有的SSL方法的基础上，暹罗网络，并提出了灵活性，迎合未来的方法。在这个框架中，服务器协调多个客户端进行SSL训练，并定期更新客户端的本地模型与聚合的全局模型。使用该框架，我们的研究揭示了FedSSL的独特见解：1）停止梯度操作，以前报道是必不可少的，并不总是必要的FedSSL; 2）保留本地知识的FedSSL客户端是特别有益的非IID数据。受这些见解的启发，我们提出了一种新的模型更新方法，联邦发散感知指数移动平均更新（FedEMA）。FedEMA使用全局模型的EMA自适应地更新客户端的局部模型，其中衰减率通过模型发散度动态地测量。大量的实验表明，FedEMA优于现有的方法3-4%的线性评价。我们希望这项工作将为未来的研究提供有益的见解。
2022-04-09 cs.AI cs.CV cs.DC
Federated Self-Supervised Modulation Classification under Non-IID and Imbalanced Data
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm Technologies Inc.（高通技术公司）
该研究针对非独立同分布与不平衡数据场景，提出FedSSL-AMC联邦自监督框架，结合因果时间膨胀CNN编码器与轻量级本地SVM，在调制分类任务上取得优于监督联邦学习基线的性能。
2026-08-18 cs.AI cs.LG eess.SP
A Framework for Early Sepsis Prediction via Self-Supervised (JEPA) and Federated Representation Learning
研究针对电子健康记录中早期脓毒症预测面临的问题，比较了JEPA等四种建模范式及原始特征基线，最佳模型在发病时接近SupMix基准且减少生物标志物使用，一级管道有显著提升，微调后的VICReg编码器特征持久性最佳。
2026-07-21 cs.LG
Federated Self-Supervised Contrastive Learning and Masked Autoencoder for Dermatological Disease Diagnosis
University of Pittsburgh（匹兹堡大学）；University of Notre Dame（圣母大学）；George Mason University（乔治梅森大学）；University of Pittsburgh Medical Center（匹兹堡大学医学中心）
在皮肤病诊断中，由移动皮肤病助理收集的私人数据存在于患者的分布式移动设备上。联邦学习（FL）可以使用分散的数据来训练模型，同时保持数据本地化。现有的FL方法假设所有的数据都有标签。然而，由于高昂的标签成本，医疗数据通常没有完整的标签。自监督学习（SSL）方法，对比学习（CL）和掩码自编码器（MAE），可以利用未标记的数据来预训练模型，然后用有限的标签进行微调。然而，SSL和FL的结合具有独特的挑战。例如，CL需要不同的数据，但每个设备只有有限的数据。对于MAE，虽然基于视觉Transformer（ViT）的MAE在集中式学习中具有比CNN更高的准确性，但尚未研究MAE在具有未标记数据的FL中的性能。此外，服务器和客户端之间的ViT同步与传统的CNN不同。因此，需要设计特殊的同步方法。在这项工作中，我们提出了两个联邦自监督学习框架的皮肤病诊断有限的标签。第一个具有较低的计算成本，适合移动设备。第二个具有高精度，适合高性能服务器。在此基础上，提出了基于特征共享的联邦对比学习（FedCLF）。共享不同对比信息的特征，而不共享原始数据以保护隐私。在MAE的基础上，我们提出了FedMAE。知识分割将从每个客户那里学到的全球知识和当地知识分开。只有全局知识聚合更高的泛化性能。在皮肤病数据集上的实验表明，所提出的框架比最先进的框架具有更高的准确性。
2022-08-24 cs.CR cs.LG eess.IV
Mobility-Aware Federated Self-supervised Learning in Vehicular Network
针对车载网络中标签成本高和高速车辆图像模糊导致联邦学习性能下降的问题，提出基于图像模糊程度聚合的无标签FLSimCo算法，实现快速稳定收敛。
2025-06-19 cs.LG cs.NI
A deep cut into Split Federated Self-supervised Learning
Jagiellonian University（雅盖隆大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Doctoral School of Exact and Natural Sciences（精确与自然科学博士学院）；IDEAS NCBR
针对分割联邦自监督学习中浅层分割削弱隐私保护并增加通信开销的问题，提出 MonAcoSFL，通过对齐在线与动量客户端模型，在显著降低通信开销的同时达到最先进准确率。
2025-03-17 cs.AI cs.DC cs.LG
Resource-efficient Layer-wise Federated Self-supervised Learning
Department of Computer Science and Engineering, Kyung Hee University（韩国庆熙大学计算机科学与工程系）；Vietnam - Korea University of Information and Communication Technology（越南-韩国信息与通信技术大学）
本文提出LW-FedSSL和Prog-FedSSL，通过分层训练和渐进策略降低联邦学习的计算和通信成本，同时保持性能。
2025-12-01 cs.AI cs.LG
Maximizing Model Generalization for Machine Condition Monitoring with Self-Supervised Learning and Federated Learning
University of Kentucky（肯塔基大学）
本文研究机器状态监测中数据无标签、类别少且存在领域偏移的问题，提出以 Barlow Twins 自监督学习最大化源域特征通用性，并结合联邦学习跨机器共享知识，实验表明该方法在无标签目标域和新故障条件下优于监督学习。
2023-09-22 cs.LG eess.SP
DRL-Based Federated Self-Supervised Learning for Task Offloading and Resource Allocation in ISAC-Enabled Vehicle Edge Computing
School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学信息科学与技术国家研究中心电子工程系）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室和电信工程学院）；Department of Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子工程系）；Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)（香港科技大学电子与计算机工程系）
针对ISAC赋能的车辆边缘计算，提出基于DRL的改进联邦自监督学习算法，通过部分任务卸载与资源分配优化能耗，提升卸载效率与模型精度。
2025-06-19 cs.DC cs.LG cs.NI
Federated Momentum Contrastive Clustering
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了联邦动量对比聚类（FedMCC），一个学习框架，不仅可以在分布式本地数据中提取判别表示，而且还可以进行数据聚类。在FedMCC中，转换后的数据对同时通过在线和目标网络，从而产生四种表示，通过这些表示来确定损失。FedMCC生成的高质量表示可以优于几种现有的线性评估和半监督学习任务的自监督学习方法。FedMCC可以很容易地适应普通的集中式集群，通过我们所谓的动量对比集群（MCC）。我们证明了MCC在STL-10和ImageNet-10等特定数据集中实现了最先进的聚类精度结果。我们还提出了一种方法来减少我们的聚类方案的内存占用。
2022-06-10 cs.CV cs.LG stat.ML
EmInspector: Combating Backdoor Attacks in Federated Self-Supervised Learning Through Embedding Inspection
本文针对联邦自监督学习（FSSL）中的后门攻击，提出EmInspector方法，通过检查本地模型嵌入空间检测恶意客户端，利用少量检查图像评估嵌入相似性，有效缓解各类对手设置下的后门攻击。
2024-05-21 cs.CR cs.LG
Calibre: Towards Fair and Accurate Personalized Federated Learning with Self-Supervised Learning
University of Toronto（多伦多大学）
针对异构数据下自监督联邦学习表示模糊、个性化准确率低的问题，提出Calibre框架，通过客户端特定原型损失和原型引导聚合校准表示，在非i.i.d.设置中同时实现高准确率与公平性。
2024-12-28 cs.AI cs.DC cs.LG
DRL-Based Resource Allocation for Motion Blur Resistant Federated Self-Supervised Learning in IoV
School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院）；Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学电子工程系，北京信息科技大学国家信息科学与技术研究中心）；Qualcomm（高通）；State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University（西安电子科技大学信息与通信系统国家重点实验室及电信工程学院）；Department of Electronic Engineering, Shanghai Jiao Tong University（上海交通大学电子工程系）；Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)（香港科技大学电子与计算机工程系）
针对车联网中联邦自监督学习的隐私与运动模糊问题，提出基于SimCo的抗模糊方法BFSSL，并设计DRL资源分配方案以最小化能耗和延迟，仿真验证其有效性。
2025-06-18 cs.CV cs.LG cs.NI
Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach
Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory (Huangpu)（（黄埔）琶洲实验室）；China University of Geosciences（中国地质大学）
随着对无线服务的需求不断增长以及人们对数据保护需求的认识不断提高，现有的网络流量分析和管理架构在对日益多样化的服务和应用进行分类和综合方面面临着前所未有的挑战。本文提出了FS-GAN，联邦自监督学习框架，以支持自动流量分析和合成在大量的异构数据集。FS-GAN由多个分布式生成对抗网络（GANs）组成，具有一组生成器，每个生成器被设计为在单个服务流量的分布之后生成合成数据样本，并且每个生成器被训练以区分合成数据样本和本地数据集的真实数据样本。采用基于联邦学习的框架来协调不同数据集上不同GANs的局部模型训练过程。FS-GAN可以对未知类型的服务数据进行分类，并创建合成样本来捕获未知类型的流量分布。我们证明了FS-GAN可以最小化所有数据集上的真实数据分布与合成数据样本分布之间的Jensen-Shannon Divergence（JSD）。FS-GAN还最大化由不同生成器创建的数据样本分布之间的JSD，导致每个生成器产生遵循与一个特定服务类型相同分布的合成数据样本。大量的仿真结果表明，FS-GAN的分类准确率实现了超过20%的提高，平均相比，最先进的基于聚类的流量分析算法。FS-GAN还能够合成高度复杂的流量类型混合，而不需要任何人工标记的数据样本。
2023-02-01 cs.DC cs.LG cs.NI
End-to-End Speech Recognition from Federated Acoustic Models
University of Cambridge（剑桥大学）；Avignon University（阿维尼翁大学）；Telecom Paris（巴黎电信）；University of Oxford（牛津大学）；Adap GmbH（Adap有限责任公司）
在联邦学习（FL）环境下训练自动语音识别（ASR）模型近年来引起了广泛的关注。然而，在文献中的FL场景往往是人为的，并未能捕捉到真实FL系统的复杂性。在本文中，我们构建了一个具有挑战性和现实的ASR联邦实验设置，包括客户端的异构数据分布使用法语和意大利语集的CommonVoice数据集，一个大型的异构数据集，包含数千个不同的扬声器，声学环境和噪声。我们提出了第一个基于注意力的序列到序列端到端（E2 E）ASR模型与三个聚合加权策略-标准FedAvg，基于损失的聚合和一个新的字出错率（WER）为基础的聚合，在两个现实的FL场景：跨筒仓与10个客户端和跨设备与2K和4K客户端进行比较的实证研究。我们的分析E2 E ASR异构和现实的联邦声学模型提供了基础，为未来的研究和开发现实的FL为基础的ASR应用。
2021-07-09 cs.LG cs.SD eess.AS
Federated Acoustic Modeling For Automatic Speech Recognition
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
数据隐私和保护是任何自动语音识别（ASR）服务提供商在与客户打交道时的关键问题。在本文中，我们研究联邦声学建模使用来自多个客户端的数据。客户端的数据存储在本地数据服务器上，并且客户端仅与中央服务器通信模型参数，而不是其数据。通信不频繁地发生，以减少通信成本。为了缓解非iid问题，提出了客户端自适应联邦训练（CAFT）来规范跨客户端的数据。实验在来自多个领域的1,150小时语音数据上进行。通过联邦学习训练混合LSTM声学模型，并将其性能与传统的集中式声学模型训练进行比较。实验结果验证了所提出的联邦声学建模策略的有效性。我们还表明，CAFT可以进一步提高联邦声学模型的性能。
2021-02-08 cs.DC cs.SD eess.AS
Estimation of Microphone Clusters in Acoustic Sensor Networks using Unsupervised Federated Learning
在本文中，我们提出了一个隐私感知的方法估计源主导的麦克风集群的背景下，声传感器网络（ASN）。该方法是基于集群联邦学习，我们适应无监督的情况下，采用轻量级的自动编码器模型。该模型进一步优化，以在非常稀缺的数据上进行训练。为了最好地利用集群麦克风节点的好处，集群成员值的计算方法的麦克风应用程序中，介绍。我们使用基于聚类的措施和网络范围内的分类任务验证所提出的方法的性能。
2021-02-15 cs.SD eess.AS
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology（埃因霍温理工大学）
联邦学习是一种分布式机器学习范式，处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上，因此标签被委托给客户端，或者以自动化的方式提取标签。具体地，在音频数据的情况下，获取语义注释可能是极其昂贵和耗时的。因此，大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上，而没有利用未标记的数据。在这项工作中，我们研究的问题，半监督学习的音频模型，通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明，自我监督的预训练模型可以加速设备上模型的训练，显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验，并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是，我们发现，与完全监督的联邦模型相比，只有3%的标记数据可用，FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning
Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
语音情感识别（SER）是指从自然语音中识别人类情感。如果准确地完成，它可以在构建以人为中心的上下文感知智能系统方面提供许多好处。现有的SER方法在很大程度上是集中式的，没有考虑用户的隐私。联邦学习（FL）是一种分布式机器学习范式，用于处理隐私敏感个人数据的分散化。在本文中，我们提出了一个隐私保护和数据高效的SER方法，利用FL的概念。据我们所知，这是第一个联邦SER方法，它利用自我训练学习结合联邦学习，利用标记和未标记的设备上的数据。我们对IEMOCAP数据集的实验评估表明，即使在数据标签可用性低和高度非独立同分布的情况下，我们的联邦方法也可以学习可推广的SER模型。分布。我们表明，与完全监督的联邦同行相比，我们的方法平均只需10%的标记数据，就可以将识别率提高8.67%。
2022-02-05 cs.AI cs.LG cs.SD
Lattice-Free MMI Adaptation Of Self-Supervised Pretrained Acoustic Models
Idiap Research Institute（伊迪亚普研究所）
在这项工作中，我们提出了无格MMI（LFMMI）用于自监督预训练声学模型的监督自适应。我们在数千小时的未转录Librispeech数据上预训练了一个Transformer模型，然后在三个不同的数据集上使用LFMMI进行监督适应。我们的研究结果表明，使用LFMMI进行微调，与仅使用监督数据训练的基线相比，我们在Librispeech（100小时）的清洁和其他测试集上始终获得10%和35.3%的相对WER改进，在Switchboard（300小时）上获得10.8%的相对WER改进，在Swahili（38小时）上获得4.3%的相对WER改进，在Taglets（84小时）上获得4.4%的相对WER改进。
2021-04-06 cs.LG cs.SD eess.AS
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文研究了在自动语音识别（ASR）中从个性化说话人自适应神经网络声学模型（AM）中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要，其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法，我们开发了两种攻击模型，旨在从更新的个性化模型中推断说话人身份，而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明，本文提出的方法是非常有效的，可以提供1- 2%的等出错率（EER）。
2022-01-14 cs.CL cs.CR cs.SD
Semi-supervised Acoustic Event Detection based on tri-training
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Amazon（亚马逊）
本文介绍了我们的工作，训练声事件检测（AED）模型使用未标记的数据集。最近的声学事件检测器基于大规模神经网络，这些神经网络通常使用大量标记数据进行训练。声学事件的标签获得起来很昂贵，并且相关的声学事件音频可能有限，特别是对于罕见事件。在本文中，我们利用互联网规模的未标记的数据集与潜在的域转移，以提高检测的声学事件。基于经典的三重训练方法，我们提出的方法在所有预定义的声学事件检测任务中，都显示了监督训练基线和半监督自训练设置的准确性提高。由于我们的方法依赖于集成模型，我们进一步表明，可以通过知识蒸馏将改进提炼为单个模型，从而使单个学生模型保持教师集成模型的高精度。
2019-04-29 cs.LG cs.SD eess.AS
Semi-supervised Learning for Singing Synthesis Timbre
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）
我们提出了一个半监督的歌唱合成器，它能够学习新的声音，从音频数据，没有任何注释，如语音分割。我们的系统是一个编码器解码器模型，有两个编码器，语言和声学，和一个（声学）解码器。在第一步中，使用标记的多歌手数据集以监督的方式训练系统。在这里，我们确保两个编码器产生的嵌入是相似的，这样我们以后就可以使用具有声学或语言输入特征的模型。为了以无监督的方式学习新的语音，使用预训练的声学编码器来训练目标歌手的解码器。最后，在推理时，预先训练的语言编码器与新语音的解码器一起使用，以从语言输入中产生声学特征。我们评估我们的系统与听力测试，并表明，结果是相当的监督的方法所获得的。
2020-11-05 cs.LG cs.SD eess.AS
Semi-FedSER: Semi-supervised Learning for Speech Emotion Recognition On Federated Learning using Multiview Pseudo-Labeling
University of Southern California（南加州大学）
针对联邦学习下语音情感识别标注数据稀缺与隐私保护问题，提出半监督框架Semi-FedSER，利用多视图伪标签同时使用标注与未标注数据，在IEMOCAP和MSP-Improv上实现标签率仅20%时的良好性能。
2022-03-15 cs.CR cs.LG cs.SD
Semi-supervised acoustic and language model training for English-isiZulu code-switched speech recognition
Stellenbosch University（斯泰伦博斯大学）
我们提出了一个半监督的声学和语言模型训练的英语isiZulu代码切换ASR使用肥皂剧讲话的分析。大约11个小时的未转录的多语种语音被自动转录使用四个双语代码转换转录系统在英语-isiZulu，英语-isiXhosa，英语-Sethoon和英语-Seshoon。这些transmittance被纳入声学和语言模型训练集。结果表明，TDNN-F声学模型受益于额外的半监督数据，并且通过包括额外的CNN层可以实现更好的性能。使用这些CNN-TDNN-F声学模型，半监督训练的第一次迭代实现了3.4%的绝对混合语言WER降低，第二次迭代后进一步降低了2.2%。虽然未转录数据中的语言是未知的，但当所有自动转录的数据都用于训练时，而不仅仅是被归类为英语-祖鲁语的话语时，获得了最好的结果。尽管减少了困惑，半监督语言模型是无法提高ASR的性能。
2020-04-05 cs.LG cs.SD eess.AS
Description on IEEE ICME 2024 Grand Challenge: Semi-supervised Acoustic Scene Classification under Domain Shift
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Xi'an Lianfeng Acoustic Technologies Co., Ltd.（西安莲峰声学科技有限公司）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Surrey（萨里大学）
本文介绍 ICME 2024 大挑战中的域偏移下半监督声学场景分类任务，推动利用未标注数据提升跨地域场景模型的鲁棒性。
2024-02-29 cs.LG cs.SD eess.AS
Cooperative Multi-Agent Reinforcement Learning for Adaptive Aggregation in Semi-Supervised Federated Learning with non-IID Data
Institute of Communication Acoustics, Ruhr-Universität Bochum（鲁尔大学波鸿分校通信声学研究所）
针对非独立同分布数据半监督联邦学习的挑战，提出pFedMARL方法，利用多智能体强化学习动态调整聚合策略，提升模型准确率、鲁棒性与公平性，性能优于FedAvg等方法。
2026-08-27 cs.DC cs.LG cs.SD
Latent Acoustic Mapping for Direction of Arrival Estimation: A Self-Supervised Approach
University of Southern California（南加州大学）；Queen Mary University of London（伦敦大学女王学院）；New York University（纽约大学）
本文提出潜声学映射（LAM）自监督模型，融合传统可解释性与深度学习效率，用于到达方向估计，在LOCATA和STARSS基准上达到或超越监督方法性能。
2025-07-08 cs.AI cs.SD eess.AS
Supervised Acoustic Embeddings And Their Transferability Across Languages
UAE University（阿联酋大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
在语音识别中，必须对输入信号的语音内容进行建模，同时丢弃诸如说话人变化和噪声之类的不相关因素，这在低资源环境中是具有挑战性的。自监督预训练已经被提出作为一种改进监督和无监督语音识别的方式，包括帧级特征表示和用于可变长度段的声学词嵌入（AWE）。然而，自我监督模型无法单独学习语言内容的完美分离，因为它们被训练来优化间接目标。在这项工作中，我们使用不同的预训练自监督特征作为AWE模型的输入进行了实验，并表明它们在监督框架中工作得最好。在英语上训练的模型可以被转移到其他语言上，而不需要适应，并且优于仅在目标语言上训练的自监督模型。
2023-01-03 cs.CL cs.SD eess.AS
SAR: Self-Supervised Anti-Distortion Representation for End-To-End Speech Model
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
针对TTS中预测声学特征易受失真影响的问题，提出自监督SAR框架，在自动编码器预训练中引入失真先验以学习抗失真表示，并通过主客观评估验证其优于梅尔频谱图。
2023-04-23 cs.SD eess.AS
Improved acoustic-to-articulatory inversion using representations from pretrained self-supervised learning models
Indian Institute of Technology Madras（马德拉斯印度理工学院）
在这项工作中，我们研究了预训练的自我监督学习（SSL）功能的有效性，用于学习声学到发音反转（AAI）的映射。基于信号处理的声学特征（例如MFCC）已主要用于具有深度神经网络的AAI任务。由于SSL特性对于诸如语音识别、情感分类等各种其他语音任务工作良好，我们试验了它对AAI的疗效。我们使用3种不同模型复杂度的基于Transformer神经网络的AAI模型对SSL特征进行训练，并使用来自10个受试者的数据在特定于受试者（SS），合并和微调（FT）配置中与MFCC进行性能比较，并使用相关系数（CC）评分对看不见的句子测试集进行评估。我们发现，声学特征重建的目标为基础的SSL功能，如TERA和DeCoAR工作良好的AAI，这些SSL功能的SS CC达到接近最好的FT CC的MFCC。我们还发现不同模型尺寸的结果一致。
2022-10-30 cs.SD eess.AS
End-to-end Acoustic-linguistic Emotion and Intent Recognition Enhanced by Semi-supervised Learning
Cognitive Systems Lab, University of Bremen（布雷斯特大学认知系统实验室）；Institute of Science Tokyo（东京科学研究所）
针对语音情感与意图识别中标注数据成本高昂的问题，提出结合大规模未标记数据的半监督学习方法，训练端到端声学与语言学多任务模型，实验表明该方法显著提升了识别性能，最佳模型后期融合在联合识别平衡指标上分别比声学和文本基线提升12.3%和10.4%。
2025-07-10 cs.SD eess.AS
Self-Supervised Learning of Spatial Acoustic Representation with Cross-Channel Signal Reconstruction and Multi-Channel Conformer
School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
针对空间声学参数估计中模拟到现实泛化与真实标注不足的问题，提出基于 CCSR 自监督前置任务和 MC-Conformer 的表征学习方法，并在五项任务上验证有效。
2024-09-09 cs.SD eess.AS
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）；ByteDance（字节跳动）
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中，我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2019任务4中的最佳师生框架，用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法，旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后，我们提出了一个自适应的焦点损失和两个阶段的训练策略，使一个有效的和更准确的模型训练，其中的贡献，硬和容易的声学事件的总代价函数可以自动调整。此外，一个特定的事件后处理的设计，以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验，结果表明，该方法在AT（81.2% F1-score）和AED（49.8% F1-score）任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
Weakly Supervised Multi-Embeddings Learning of Acoustic Models
ENS（巴黎高等师范学院）；EHESS（社会科学高等研究院）；CNRS（法国国家科学研究中心）
我们用语音数据集上的多任务相同/不同信息训练了一个连体网络，发现可以在不损失性能的情况下为两个任务共享一个网络。第一个任务是区分两个相同或不同的单词，第二个任务是区分两个相同或不同的说话者。
2015-04-20 cs.CL cs.LG cs.SD
Online Supervised Acoustic System Identification exploiting Prelearned Local Affine Subspace Models
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
在本文中，我们提出了一种新的算法改进块在线监督声学系统辨识在不利的噪声情况下，利用先验知识的空间的房间脉冲响应（RIR）。该方法基于这样的假设，即未知RIR的可变性仅由少数物理参数控制，例如，源位置移动，因此被限制到由仿射子空间的并集建模的低维流形。仿射子空间的偏移量和基是通过无监督聚类和主成分分析从训练数据中预先学习的。我们建议去噪的任何监督自适应滤波器的参数更新投影到一个最佳的仿射子空间，这是基于一个新的计算效率的近似相关联的证据。所提出的方法显着提高了系统辨识性能的最先进的算法在不利的噪声情况下。
2020-07-03 cs.SD eess.AS
Analyzing Acoustic Word Embeddings from Pre-trained Self-supervised Speech Models
The University of Edinburgh（爱丁堡大学）
考虑到自监督模型在各种任务上的强大结果，很少有研究探索声学词嵌入（AWE）的自监督表示，表示可变长度口语词段的固定维向量。在这项工作中，我们研究了几种预训练模型和池化方法，用于构建具有自监督表示的AWE。由于自监督表示的上下文性质，我们假设简单的池化方法，如平均，可能已经用于构建AWE。当评估一个标准的单词歧视任务，我们发现，休伯特表示与均值池的竞争对手的最先进的英语AWE。更令人惊讶的是，尽管只在英语上训练，但在Xitsonga，普通话和法语上评估的HuBERT表示始终优于多语言模型XLSR-53（以及在英语上训练的Wav 2 Vec 2.0）。
2023-03-14 cs.CL cs.SD eess.AS
Repeat after me: Self-supervised learning of acoustic-to-articulatory mapping by vocal imitation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）；Univ. Savoie Mont Blanc（萨瓦勃朗峰大学）；LPNC（认知神经科学实验室）
我们提出了一个计算模型的语音生产相结合的预先训练的神经发音合成器能够再现复杂的语音刺激从一组有限的可解释的发音参数，基于DNN的内部正向模型预测发音命令的感官后果，和内部逆模型的基础上恢复发音命令从声学语音输入的递归神经网络。前向和反向模型都是以自监督的方式从来自不同说话者的原始仅声学语音数据中联合训练的。仿真结果得到了客观和主观的评价，显示出令人鼓舞的效果。
2022-04-05 cs.CL cs.SD eess.AS
Cross-modal supervised learning for better acoustic representations
iQiYi, Inc.（爱奇艺公司）
获取大规模的人类标记数据集来训练声学表示模型是一项非常具有挑战性的任务。相反，我们可以很容易地用机器生成的标签收集数据。在这项工作中，我们建议利用机器生成的标签来学习更好的声学表示，基于视觉和音频之间的同步。首先，我们收集了一个大规模的视频数据集，有1500万个样本，总共持续了16,320小时。每个视频的长度为3到5秒，并由公开的视觉和音频分类模型自动注释。其次，我们训练各种经典的卷积神经网络（CNN），包括VGGish，ResNet 50和Mobilenet v2。我们还对VGGish进行了一些改进，并取得了更好的效果。最后，我们将我们的模型转移到三个外部标准基准上进行音频分类任务，并在最先进的结果上实现了显着的性能提升。型号和代码可在https://github.com/Deeperjia/vgg-like-audio-models上获得。
2020-01-01 cs.CV cs.LG cs.SD
Joint Analysis of Acoustic Scenes and Sound Events Based on Semi-Supervised Training of Sound Events With Partial Labels
Graduate School of Informatics, Kyoto University, Japan（信息学研究生院，京都大学，日本）
针对声音事件标注成本高的问题，提出利用声学场景信息构建部分标签的多任务联合分析框架，并结合半监督训练与自蒸馏标签精炼方法，平衡标注成本与检测性能。
2025-10-29 cs.SD eess.AS
Semi-supervised acoustic model training for five-lingual code-switched ASR
Stellenbosch University（斯泰伦博斯大学）；National University of Singapore（新加坡国立大学）
本文介绍了在声学建模的资源不足的代码切换（CS）语音在多种南非语言的最新进展。我们考虑两种方法。第一个构造单独的双语声学模型，对应于语言对（英语-isiZulu，英语-isiXhosa，英语-Sethem和英语-Seshem）。第二个构建了一个统一的五种语言的声学模型，代表所有的语言（英语，isiZulu，isiXhosa，Seturan和Sesuran）。对于这两种方法，我们考虑半监督训练的有效性，以增加非常稀疏的声学训练集的大小。使用大约11个小时的未转录语音，我们表明这两种方法都受益于半监督训练。双语TDNN-F声学模型也受益于添加CNN层（CNN-TDNN-F），而五种语言系统没有显示出任何显著的改进。此外，由于英语对我们数据中的所有语言对都是通用的，因此在训练统一的语言模型时，它占主导地位，从而以牺牲其他语言为代价提高英语ASR性能。尽管如此，五种语言模型提供了灵活性，因为它可以同时处理两种以上的语言，因此作为半监督训练管道中的自动转录系统是一个有吸引力的选择。
2019-10-15 cs.CL cs.SD eess.AS
Joint Acoustic and Class Inference for Weakly Supervised Sound Event Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；Ritsumeikan University（立命馆大学）
声音事件检测是一项具有挑战性的任务，特别是对于具有多个同时发生的事件的场景。虽然事件分类方法往往相当准确，但事件本地化带来了额外的挑战，特别是当大量标记数据不可用时。2018年DCASE挑战赛的任务4提出了一个事件检测任务，该任务要求在事件的分割和识别方面都具有准确性，同时只提供弱标记的训练数据。监督方法可以产生准确的事件标签，但当训练数据缺乏事件时间戳时，在事件分割方面受到限制。另一方面，对音频的声学特性进行建模的无监督方法可以产生准确的事件边界，但不受事件类别和声音类别的特征的指导。我们提出了一种混合方法，该方法结合了声学驱动的事件边界检测和使用深度神经网络的监督标签推理。该框架利用了无监督和有监督方法的优点，并利用了大量未标记的数据，使其成为大规模弱标记事件检测的理想选择。与基线系统相比，所提出的方法提供了一个15%的F-分数的绝对改善，证明了混合自下而上，自上而下的方法的好处。
2018-11-09 cs.SD eess.AS
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出一种数据高效且低复杂度的声学场景分类系统，利用BEATs自监督预训练模型提取通用音频表示，并通过集成不同微调策略与知识蒸馏技术，在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.（亚马逊公司）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
本文提出了一种主要用于音频标记的网络架构，该架构也可用于弱监督声事件检测（AED）。建议的网络由一个修改后的DenseNet作为特征提取器，和一个全局平均池（GAP）层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发，一个众所周知的框架，使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件，但所提出的网络使用DenseNet提取的特征图直接定位事件，而无需任何递归层。在DCASE 2017的音频标记任务中，我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%，在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务，我们的模型通过使用数据增强和tri-training来利用未标记的数据，在绝对值方面，我们的模型在基于事件的F1中的性能优于最先进的方法8.1%，在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University（剑桥大学）
在本文中，我们提出了一种用于训练深度神经网络（DNN）的半监督学习（SSL）技术，以生成说话人区分的声学嵌入（说话人嵌入）。获取大量的说话人识别训练数据对于期望的目标域可能是困难的，特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练（VAT）[1]的一种变体，其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性，如余弦距离所测量的。因此，我们将该技术称为余弦距离虚拟对抗训练（CD-VAT）。与许多现有的SSL技术相比，未标记的数据不必来自与标记数据相同的类（这里是扬声器）。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示，在说话人验证任务中，相对于纯监督基线，它实现了11.1%的等错误率（EER）降低。如果未标记数据的说话人标签可用，这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
Adaptive Speech Quality Aware Complex Neural Network for Acoustic Echo Cancellation with Supervised Contrastive Learning
MediaTek Singapore（联发科新加坡）
声学回声消除（AEC）旨在从麦克风信号中消除回声、混响和不需要的附加声音，同时保持近端扬声器的语音质量。本文提出了自适应语音质量复杂神经网络，专注于实时声学回声消除的特定任务。具体而言，我们提出了一个复杂的模块化神经网络，具有不同的阶段，分别专注于特征提取，声学分离和掩模优化。此外，我们采用了对比学习框架和新的语音质量感知损失函数，以进一步提高性能。该模型经过72小时的预训练，然后进行72小时的微调。所提出的模型优于国家的最先进的性能。
2022-11-09 cs.AI cs.SD eess.AS
