Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Exploring Federated Self-Supervised Learning for General Purpose Audio Understanding
TCL AI Lab（TCL人工智能实验室）
本文提出联邦自监督学习框架FASSL，在非独立同分布的大规模异构客户端上学习音频特征，实现与集中式方法相当的检索性能，并助力最优全局模型聚合。
2024-02-05 cs.CV cs.LG cs.SD
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中，自监督学习（SSL）已经成为一个重要的研究方向。事实证明，SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面，监督多任务学习（MTL）是另一种表示学习范式，已被证明在计算机视觉（CV）和自然语言处理（NLP）中有效。然而，在语音处理中，还没有系统的研究，一般表示学习模型的监督MTL训练。在本文中，我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性，以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Federated Self-Supervised Learning in Heterogeneous Settings: Limits of a Baseline Approach on HAR
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
联邦学习是一种新的机器学习范式，用于处理独立设备上的分布式模型学习。联邦学习的众多优点之一是训练数据保留在设备上（如智能手机），并且只有学习的模型与集中式服务器共享。在监督学习的情况下，标记委托给客户端。然而，获取这样的标签对于许多任务（例如人类活动识别）来说可能是极其昂贵且容易出错的。因此，大量的数据仍然没有标记和利用。大多数现有的联邦学习方法主要集中在监督学习上，大多忽略了大量未标记的数据。此外，尚不清楚标准联邦学习方法是否适合自监督学习。处理这个问题的少数研究局限于同质数据集的有利情况。这项工作为在现实环境中使用半监督学习对联邦学习进行参考评估奠定了基础。我们表明，标准的轻量级自动编码器和标准的联邦平均无法学习一个强大的表示人类活动识别与几个现实的异构数据集。这些研究结果主张在联邦自监督学习中进行更深入的研究，以利用移动设备上存在的大量异构未标记数据。
2022-07-17 cs.AI cs.LG
FedMAE: Federated Self-Supervised Learning with One-Block Masked Auto-Encoder
The University of Sydney（悉尼大学）；Shandong University（山东大学）
最新的联邦学习（FL）方法开始关注如何在客户端使用未标记的数据进行训练，这是由于用户的隐私问题，高标记成本或缺乏专业知识。然而，目前的联邦半监督/自监督学习（FSSL）方法无法学习大规模的图像，因为本地客户端的计算资源有限。在本文中，我们介绍了一个新的框架FedMAE，它代表联邦掩码自编码器，以解决如何利用未标记的大规模图像的FL的问题。具体地说，FedMAE可以预训练一个块掩码自编码器（MAE）使用大图像在轻量级客户端设备，然后级联多个预训练的一个块MAE在服务器上构建一个多块ViT骨干的下游任务。理论分析和实验结果表明，我们的FedMAE实现了优越的性能相比，国家的最先进的FSSL方法。
2023-03-20 cs.AI cs.LG
Federated Self-supervised Learning for Heterogeneous Clients
University of Texas at Austin（德克萨斯大学奥斯汀分校）
联邦学习由于其隐私性和计算性的优点而成为一种重要的学习范式。随着该领域的发展，仍然需要解决的两个关键挑战是：（1）系统异构性-每个客户端上存在的计算和/或数据资源的可变性，以及（2）在某些联合设置中缺乏标记数据。最近的一些事态发展试图独立地克服这些挑战。在这项工作中，我们提出了一个统一的和系统的框架，\emph{Heterogeneous Self-supervised Federated Learning}（异质SSFL），使自监督学习与联邦异构客户端。所提出的框架允许协作表示学习在所有的客户端，而不施加架构约束或要求存在的标记数据。Hetero-SSFL的核心思想是让每个客户端训练其独特的自监督模型，并通过在公共数据集上对齐低维表示来实现跨客户端的联合学习。整个训练过程可以被视为自我和同行监督，因为本地训练和对齐过程都不需要存在任何标记数据。与传统的自监督学习一样，所获得的客户端模型与任务无关，可以用于不同的终端任务。我们提供了一个收敛性的保证，所提出的框架，在异构环境中的非凸目标，也经验证明，我们提出的方法优于最先进的方法的显着利润率。
2022-05-31 cs.DC cs.LG
Federated Self-Supervised Learning for One-Shot Cross-Modal and Cross-Imaging Technique Segmentation
Hong Kong Baptist University（香港浸会大学）；Narayana Superspeciality Hospital（纳拉亚纳超级专科医院）；National Institute of Technology Durgapur（杜尔加布尔国家理工学院）；Indian Institute of Technology（印度理工学院）
本研究将自监督少样本分割框架CoWPro适配至联邦学习，实现一次性跨模态/成像技术分割，并引入融合Dice损失提升性能，在未见数据上达到或超越FedAvg基线。
2025-03-30 cs.CV cs.LG eess.IV
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning
The Hong Kong Polytechnic University（香港理工大学）；Harvard University（哈佛大学）
为了消除传统联邦学习（FL）中对全标记数据进行监督模型训练的要求，自监督学习（SSL）方法在FL中的应用受到了广泛关注，以解决标记稀缺问题。以前关于联邦SSL的工作通常分为两类：基于参数的模型聚合（即，FedAvg，适用于同类情况）或基于数据的特征共享（即，知识蒸馏，适用于异构案例），以实现多个未标记客户端之间的知识转移。尽管取得了进展，但所有这些都不可避免地依赖于一些假设，例如同质模型或存在额外的公共数据集，这阻碍了培训框架在更一般情景中的普遍性。因此，在本文中，我们提出了一种新的和一般的方法命名为联邦自监督学习与基于相关性的聚合（FedFoA），以解决上述限制的通信效率和隐私保护的方式。我们的见解是利用特征相关性来对齐特征映射，并在客户端的本地训练过程中校准本地模型更新。更具体地说，我们设计了一种基于因子分解的方法来提取跨特征关系矩阵的本地表示。然后，将关系矩阵作为语义信息的载体进行聚合。我们证明了FedFoA是一个与模型无关的训练框架，可以很容易地与最先进的无监督FL方法兼容。大量的实证实验表明，我们提出的方法优于国家的最先进的方法的显着保证金。
2022-11-14 cs.LG
Federated Learning for Face Recognition via Intra-subject Self-supervised Learning
KakaoBank Corp.（KakaoBank公司）
本文提出FedFS框架，通过自适应软标签构建和主体内自监督学习两大组件及正则化损失，解决人脸识别联邦学习中自监督学习融合不足和多主体限制问题，在DigiFace-1M和VGGFace数据集上表现优于以往方法。
2024-07-23 cs.AI cs.CV cs.LG
Federated Semi-supervised Learning for Medical Image Segmentation with intra-client and inter-client Consistency
Shanghai Jiao Tong University（上海交通大学）；Shanghai Chest Hospital（上海市胸科医院）
提出一种用于医学图像分割的联邦半监督学习框架，通过客户端内和客户端间一致性学习及协作训练的VAE模型平滑预测并避免确认偏差，在优于现有方法的同时显著降低计算与通信开销。
2024-03-19 cs.CV cs.LG eess.IV
Federated Self-Supervised Learning of Multi-Sensor Representations for Embedded Intelligence
Eindhoven University of Technology（埃因霍温理工大学）；RMIT University（皇家墨尔本理工大学）
智能手机、可穿戴设备和物联网（IoT）设备产生大量数据，由于隐私、带宽限制和高昂的注释成本，这些数据无法积累在集中式存储库中用于学习监督模型。联邦学习为从分散的数据中学习模型提供了一个令人信服的框架，但传统上，它假设标记样本的可用性，而设备上的数据通常是未标记的，或者无法通过用户交互进行注释。为了解决这些问题，我们提出了一种自监督的方法称为\textit{scalogram-signal correspondence learning}基于小波变换学习有用的表示从未标记的传感器输入，如脑电图，血容量脉冲，加速度计，和WiFi信道状态信息。我们的辅助任务需要深度时间神经网络来确定给定的一对信号及其互补视点（即，利用小波变换生成的尺度图）通过优化对比目标而彼此对准或不对准。我们通过多视图策略在不同的公共数据集上广泛评估学习特征的质量，在所有领域都取得了良好的表现。我们证明了从下游任务的未标记输入集合中学习的表示的有效性，通过预训练网络训练线性分类器，在低数据状态下的有用性，迁移学习和交叉验证。我们的方法在完全监督的网络中实现了具有竞争力的性能，并且在中央和联邦上下文中都优于使用自动编码器进行的预训练。值得注意的是，它提高了半监督设置中的泛化能力，因为它通过利用自监督学习减少了所需的标记数据量。
2020-07-25 cs.LG stat.ML
A Hybrid Self-Supervised Learning Framework for Vertical Federated Learning
针对纵向联邦学习中未对齐、无标签数据未被利用的问题，提出FedHSSL混合自监督框架，融合跨方视图与局部增强视图并进行部分聚合，显著提升性能且实现更优隐私-效用权衡。
2023-06-08 cs.LG
FedSC: Provable Federated Self-supervised Learning with Spectral Contrastive Objective over Non-i.i.d. Data
University of California, San Francisco（加州大学旧金山分校）；Lehigh University（利哈伊大学）；New Jersey Institute of Technology（新泽西理工学院）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
针对非 i.i.d. 下 FedSSL 全局目标与本地目标加权和不一致的问题，提出基于谱对比目标的 FedSC，通过共享表示相关矩阵实现跨客户端对比，并以 DP 控制隐私泄露。
2024-05-07 cs.CR cs.LG eess.SP
vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations
Facebook AI Research（脸书人工智能研究院）；University of Tübingen（图宾根大学）
我们提出了vq-wav 2 vec，通过wav 2 vec风格的自监督上下文预测任务来学习音频片段的离散表示。该算法使用gumbel softmax或在线k-means聚类来消除密集表示。离散化使得来自NLP社区的算法能够直接应用，这些算法需要离散输入。实验表明，BERT预训练在TIMIT音素分类和WSJ语音识别上达到了新的水平。
2020-02-16 cs.CL cs.LG
Divergence-aware Federated Self-Supervised Learning
NTU（南洋理工大学）；SenseTime Research（商汤科技研究院）
自监督学习（SSL）能够从集中可用的数据中学习显著的表示。最近的工作进一步实现了使用SSL的联邦学习，以从快速增长的分散式未标记图像（例如，从相机和电话），往往是由于隐私的限制。基于Siamese网络的SSL方法受到了广泛的关注。然而，这样的努力还没有揭示出对联邦自监督学习（FedSSL）架构的各种基本构建块的深刻见解。我们的目标是通过深入的实证研究来填补这一空白，并提出一种新的方法来解决分散数据的非独立同分布（非IID）数据问题。首先，我们介绍了一个广义的FedSSL框架，包括现有的SSL方法的基础上，暹罗网络，并提出了灵活性，迎合未来的方法。在这个框架中，服务器协调多个客户端进行SSL训练，并定期更新客户端的本地模型与聚合的全局模型。使用该框架，我们的研究揭示了FedSSL的独特见解：1）停止梯度操作，以前报道是必不可少的，并不总是必要的FedSSL; 2）保留本地知识的FedSSL客户端是特别有益的非IID数据。受这些见解的启发，我们提出了一种新的模型更新方法，联邦发散感知指数移动平均更新（FedEMA）。FedEMA使用全局模型的EMA自适应地更新客户端的局部模型，其中衰减率通过模型发散度动态地测量。大量的实验表明，FedEMA优于现有的方法3-4%的线性评价。我们希望这项工作将为未来的研究提供有益的见解。
2022-04-09 cs.AI cs.CV cs.DC
Federated Self-Supervised Modulation Classification under Non-IID and Imbalanced Data
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm Technologies Inc.（高通技术公司）
该研究针对非独立同分布与不平衡数据场景，提出FedSSL-AMC联邦自监督框架，结合因果时间膨胀CNN编码器与轻量级本地SVM，在调制分类任务上取得优于监督联邦学习基线的性能。
2026-08-18 cs.AI cs.LG eess.SP
Robust Federated Learning Against Adversarial Attacks for Speech Emotion Recognition
Imperial College London（伦敦帝国理工学院）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）；University of Augsburg（奥格斯堡大学）
由于机器学习和语音处理的发展，语音情感识别成为近年来的研究热点。然而，在语音情感识别的物联网应用中，语音数据在服务器上上传和处理时无法得到保护。此外，深度神经网络已被证明易受人类无法区分的对抗性扰动的影响。由扰动产生的对抗攻击可能导致深度神经网络错误地预测情绪状态。我们提出了一种新的联邦对抗学习框架，用于保护数据和深度神经网络。拟议的框架包括：i）用于数据隐私的联邦学习，以及ii）用于模型鲁棒性的训练阶段的对抗训练和测试阶段的随机化。实验结果表明，该框架能够有效地保护语音数据的局部安全，提高模型对一系列对抗攻击的鲁棒性。
2022-03-09 cs.LG cs.SD eess.AS
End-to-End Speech Recognition from Federated Acoustic Models
University of Cambridge（剑桥大学）；Avignon University（阿维尼翁大学）；Telecom Paris（巴黎电信）；University of Oxford（牛津大学）；Adap GmbH（Adap有限责任公司）
在联邦学习（FL）环境下训练自动语音识别（ASR）模型近年来引起了广泛的关注。然而，在文献中的FL场景往往是人为的，并未能捕捉到真实FL系统的复杂性。在本文中，我们构建了一个具有挑战性和现实的ASR联邦实验设置，包括客户端的异构数据分布使用法语和意大利语集的CommonVoice数据集，一个大型的异构数据集，包含数千个不同的扬声器，声学环境和噪声。我们提出了第一个基于注意力的序列到序列端到端（E2 E）ASR模型与三个聚合加权策略-标准FedAvg，基于损失的聚合和一个新的字出错率（WER）为基础的聚合，在两个现实的FL场景：跨筒仓与10个客户端和跨设备与2K和4K客户端进行比较的实证研究。我们的分析E2 E ASR异构和现实的联邦声学模型提供了基础，为未来的研究和开发现实的FL为基础的ASR应用。
2021-07-09 cs.LG cs.SD eess.AS
Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning
Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
语音情感识别（SER）是指从自然语音中识别人类情感。如果准确地完成，它可以在构建以人为中心的上下文感知智能系统方面提供许多好处。现有的SER方法在很大程度上是集中式的，没有考虑用户的隐私。联邦学习（FL）是一种分布式机器学习范式，用于处理隐私敏感个人数据的分散化。在本文中，我们提出了一个隐私保护和数据高效的SER方法，利用FL的概念。据我们所知，这是第一个联邦SER方法，它利用自我训练学习结合联邦学习，利用标记和未标记的设备上的数据。我们对IEMOCAP数据集的实验评估表明，即使在数据标签可用性低和高度非独立同分布的情况下，我们的联邦方法也可以学习可推广的SER模型。分布。我们表明，与完全监督的联邦同行相比，我们的方法平均只需10%的标记数据，就可以将识别率提高8.67%。
2022-02-05 cs.AI cs.LG cs.SD
FedSpeech: Federated Text-to-Speech with Continual Learning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
提出基于持续学习的联邦文本到语音合成架构FedSpeech，通过渐进剪枝掩码、选择性掩码和私有说话人嵌入解决少样本与隐私挑战，在多说话人质量和相似度上表现优异。
2023-05-22 cs.SD eess.AS
Semi-FedSER: Semi-supervised Learning for Speech Emotion Recognition On Federated Learning using Multiview Pseudo-Labeling
University of Southern California（南加州大学）
针对联邦学习下语音情感识别标注数据稀缺与隐私保护问题，提出半监督框架Semi-FedSER，利用多视图伪标签同时使用标注与未标注数据，在IEMOCAP和MSP-Improv上实现标签率仅20%时的良好性能。
2022-03-15 cs.CR cs.LG cs.SD
Federated Acoustic Modeling For Automatic Speech Recognition
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
数据隐私和保护是任何自动语音识别（ASR）服务提供商在与客户打交道时的关键问题。在本文中，我们研究联邦声学建模使用来自多个客户端的数据。客户端的数据存储在本地数据服务器上，并且客户端仅与中央服务器通信模型参数，而不是其数据。通信不频繁地发生，以减少通信成本。为了缓解非iid问题，提出了客户端自适应联邦训练（CAFT）来规范跨客户端的数据。实验在来自多个领域的1,150小时语音数据上进行。通过联邦学习训练混合LSTM声学模型，并将其性能与传统的集中式声学模型训练进行比较。实验结果验证了所提出的联邦声学建模策略的有效性。我们还表明，CAFT可以进一步提高联邦声学模型的性能。
2021-02-08 cs.DC cs.SD eess.AS
Investigating Effective Speaker Property Privacy Protection in Federated Learning for Speech Emotion Recognition
MonotaRO Co., Ltd.（MonotaRO公司）；NICT（情报通信研究机构）；Tokyo Institute of Technology（东京工业大学）；University of Bremen（不来梅大学）
本文针对语音情感识别联邦学习中的属性推理攻击，提出通过分解声音属性并添加扰动来保护语音数据隐私，在保持效用的同时更有效地防止攻击。
2024-10-17 cs.SD eess.AS
Separate but Together: Unsupervised Federated Learning for Speech Enhancement from Non-IID Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
我们提出了FEDENHANCE，一种无监督的联邦学习（FL）方法，用于多个客户端的非IID分布式数据的语音增强和分离。我们模拟了一个现实世界的场景，每个客户端只能访问一些嘈杂的录音从有限的和不相交的扬声器（因此非IID）。每个客户端使用混合不变训练来隔离训练他们的模型，同时定期向中央服务器提供更新。我们的实验表明，我们的方法实现了有竞争力的增强性能相比，IID训练在一个单一的设备上，我们可以进一步促进收敛速度和整体性能使用服务器端的迁移学习。此外，我们还证明了我们可以有效地将本地训练的客户端的更新与监督和非监督损失相结合。我们还发布了一个新的数据集LibriFSD 50 K及其创建配方，以促进FL研究声源分离问题。
2021-09-26 cs.CL cs.LG cs.SD
Federated Self-Training for Semi-Supervised Audio Recognition
Eindhoven University of Technology（埃因霍温理工大学）
联邦学习是一种分布式机器学习范式，处理分散和个人数据集。由于数据驻留在智能手机和虚拟助手等设备上，因此标签被委托给客户端，或者以自动化的方式提取标签。具体地，在音频数据的情况下，获取语义注释可能是极其昂贵和耗时的。因此，大量的音频数据在用户的设备上仍然未被标记和利用。大多数现有的联邦学习方法都集中在监督学习上，而没有利用未标记的数据。在这项工作中，我们研究的问题，半监督学习的音频模型，通过自我训练结合联邦学习。我们提出FedSTAR来利用大规模的设备上未标记的数据来提高音频识别模型的泛化能力。我们进一步证明，自我监督的预训练模型可以加速设备上模型的训练，显著提高收敛到更少的训练轮次。我们在不同的公共音频分类数据集上进行实验，并在不同百分比的标记和未标记数据下研究我们的模型的性能。值得注意的是，我们发现，与完全监督的联邦模型相比，只有3%的标记数据可用，FedSTAR平均可以将识别率提高13.28%。
2022-02-25 cs.DC cs.LG cs.SD
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Communication-Efficient Personalized Federated Learning for Speech-to-Text Tasks
University of Science and Technology of China（中国科学技术大学）；Tencent AI Lab（腾讯AI实验室）；Nanjing University（南京大学）；Anhui Xinhua University（安徽新华学院）
针对联邦语音转文本任务中通信开销大和数据异质性问题，提出FedLoRA与FedMem的个性化框架，显著降低通信开销并提升个性化性能。
2025-01-19 cs.CL cs.SD eess.AS
Regularized Federated Learning for Privacy-Preserving Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
针对构音障碍与老年人语音识别中联邦学习面临的数据稀缺等问题，提出三类正则化技术，在基准数据集上实现显著词错误率降低，高通信频率下性能接近集中式训练。
2025-06-02 cs.AI cs.CL cs.SD
Federated Learning in ASR: Not as Easy as You Think
Institute of Communication Acoustics, Ruhr University Bochum（波鸿鲁尔大学通信声学研究所）
随着智能设备和云服务的日益普及，个人语音辅助系统的日常使用越来越多。大多数设备会将语音记录重定向到中央服务器，中央服务器使用它们来升级识别器模型。这导致了严重的隐私问题，因为私人数据可能被服务器或第三方滥用。联邦学习是一种分散的优化策略，已被提出来解决这些问题。利用这种方法，私人数据被用于设备上的训练。之后，更新的模型参数被发送到服务器以改进全局模型，该全局模型被重新分发到客户端。在这项工作中，我们实现了联邦学习的语音识别的混合和端到端的模型。我们讨论了这些系统的结果，它们都表现出很大的相似性，只有很小的改进，指出需要更深入地了解联邦学习的语音识别。
2021-09-30 cs.SD eess.AS
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
本文研究了在自动语音识别（ASR）中从个性化说话人自适应神经网络声学模型（AM）中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要，其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法，我们开发了两种攻击模型，旨在从更新的个性化模型中推断说话人身份，而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明，本文提出的方法是非常有效的，可以提供1- 2%的等出错率（EER）。
2022-01-14 cs.CL cs.CR cs.SD
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University（台湾大学）；Google Brain（谷歌大脑）
语音失真是一个长期存在的问题，它降低了监督训练的语音处理模型的性能。因此，我们需要提高语音处理模型的鲁棒性，以在不损害原始语音处理性能的前提下，在遇到语音失真时获得良好的性能。在这项工作中，我们提出了提高域对抗训练（DAT）的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上，五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型，我们分析了二进制域和多域设置，其中前者将所有失真的语音视为一个域，而后者将不同的失真视为不同的域。与监督训练方法相比，我们在目标域中获得了有希望的结果，其中语音数据被不同的失真所扭曲，包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
Towards Personalized Federated Learning for Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）
针对构音障碍语音识别中联邦学习异构性问题，提出参数平均和嵌入平均两种个性化聚合策略，在UASpeech和TORGO上分别实现0.99%和0.56%的绝对词错误率降低。
2026-06-12 cs.AI cs.SD
Federated Self-Learning with Weak Supervision for Speech Recognition
Amazon Alexa AI（亚马逊Alexa人工智能部门）
本研究提出一种联邦自学习方法，结合弱监督信号和记忆重放，用于RNN-T语音识别模型，在无强监督转录下实现新用例WER相对降低10%。
2023-06-21 cs.SD eess.AS
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo（东京大学）
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据，因此其不能充分地表示真实数据的声学失真，从而限制了适用性。我们的模型包括分析，合成和通道模块，模拟退化语音的记录过程，并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征，而合成模块合成恢复的语音波形，并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输，其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明，我们的方法实现了显着更高质量的语音恢复比以前的监督方法，表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
Federated Learning for Keyword Spotting
Snips（Snips公司）
我们提出了一种基于联邦学习的实用方法，以解决连续运行的嵌入式基于语音的模型（如唤醒词检测器）的域外问题。我们进行了广泛的实证研究的联邦平均算法的“嘿Snips”唤醒词的基础上众包的数据集，模仿联邦唤醒词用户。我们的经验表明，使用自适应平均策略的灵感来自亚当的标准加权模型平均大大减少了通信轮数，以达到我们的目标性能。每个用户的相关上行通信成本估计为8 MB，这在智能家居语音助理的背景下是合理的。此外，用于这些实验的数据集正在开源，旨在促进联邦学习应用于语音数据的进一步透明研究。
2019-02-18 cs.CL cs.LG cs.SD
Perceive and predict: self-supervised speech representation based loss functions for speech enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
本研究发现干净与带噪语音的自监督早期特征编码距离与语音质量及可懂度高度相关，将其作为损失函数训练语音增强模型，在PESQ和STOI等客观指标上优于STFT频谱图距离等常见损失函数。
2023-06-26 cs.CL cs.LG cs.SD
Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA（英伟达）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型，仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University（名古屋大学）
我们研究了用于自动语音识别（ASR）的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练，但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练，然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习（SSL），它只使用语音数据训练网络，在训练数据要求方面提供了更大的灵活性，并允许在预训练中使用更多的语音数据。我们研究SSL框架，如wav2vec 2.0和WavLM模型使用不同的设置，并比较它们的性能与不同的监督预训练设置，使用两种类型的病理语音，即日语electrolaryngeal和英语dysarthric。我们的研究结果表明，虽然SSL已显示出成功的最低限度的资源健康的语音，我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
User-Level Differential Privacy against Attribute Inference Attack of Speech Emotion Recognition in Federated Learning
University of Southern California（南加州大学）
本文研究联邦学习下语音情感识别系统的属性推理攻击问题，提出采用用户级差分隐私（UDP）来缓解隐私泄露，并通过实验证明其在单次模型更新场景下能有效平衡隐私保护与系统效用。
2022-05-17 cs.CR cs.SD eess.AS
Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
Google Research（谷歌研究院）
与自动语音识别（ASR）和文本机器翻译（MT）模型的级联相比，端到端语音翻译（ST）模型具有许多潜在优势，包括降低推理延迟和避免错误复合。然而，端到端ST的质量往往受到缺乏训练数据的限制，因为很难收集大型并行语料库的语音和翻译的抄本对。以前的研究已经提出了使用预训练的组件和多任务学习，以便从弱监督的训练数据中受益，例如语音到成绩单或文本到外国文本对。在本文中，我们证明了使用预训练的MT或文本到语音（TTS）合成模型将弱监督数据转换为ST训练的语音到翻译对可能比多任务学习更有效。此外，我们证明了一个高质量的端到端ST模型可以只使用弱监督数据集进行训练，并且来自未标记的单语文本或语音的合成数据可以用于提高性能。最后，我们讨论了避免过拟合合成语音的定量消融研究的方法。
2019-02-10 cs.CL cs.LG cs.SD
Weakly-Supervised Speech Pre-training: A Case Study on Target Speech Recognition
MoE Key Lab of Artificial Intelligence, AI Institute（人工智能研究院教育部人工智能重点实验室）；Department of Computer Science and Engineering（计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
针对弱监督数据在语音预训练中探索不足的问题，提出引入目标说话人注册信息作为辅助输入的弱监督预训练方法，在重叠语音下引导表征向目标说话人，在目标语音识别任务上显著优于WavLM。
2023-06-29 cs.SD eess.AS
Hypergraph based semi-supervised learning algorithms applied to speech recognition problem: a novel approach
Ho Chi Minh City University of Technology-VNU HCM（胡志明市理工大学（越南国家大学胡志明市分校））
大多数基于网络的语音识别方法都是基于网络中两个相邻语音样本的标签可能相同的假设。然而，假设语音样本之间的成对关系是不完整的。一组语音样本显示非常相似的模式，往往有类似的标签的信息被错过了。克服上述假设的信息损失的自然方法是将语音样本的特征数据表示为超图。因此，本文介绍了三种基于半监督学习的非规范化、随机游动和对称规范化超图Laplacian方法，并将其应用于由语音样本特征数据构造的超图，以预测语音样本的标签。实验结果表明，这三种基于超图拉普拉斯算子的半监督学习方法的灵敏度性能指标均大于隐马尔可夫模型方法的灵敏度性能指标（当前应用于语音识别问题的最先进的方法）和基于图的半监督学习方法（即当前最先进的基于网络的分类问题的方法）应用于从语音样本的特征数据创建的网络。
2018-10-28 cs.LG cs.SD eess.AS
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Towards Spontaneous Style Modeling with Semi-supervised Pre-training for Conversational Text-to-Speech Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；XVerse Inc.（元象科技）；The Chinese University of Hong Kong（香港中文大学）
针对自发性语音数据稀缺和标注成本高的问题，提出半监督预训练方法，结合文本与语音信息检测自发性行为，并利用语言感知编码器建模会话关系，实现表现性语音合成。
2023-08-31 cs.CL cs.LG cs.SD
Speech Emotion Recognition using Self-Supervised Features
IBM Research AI（IBM 人工智能研究院）
自监督预训练特征在自然语言处理（NLP）领域一直提供最先进的结果;然而，它们在语音情感识别（SER）领域的优点仍然需要进一步研究。在本文中，我们介绍了一个模块化的端到端（E2 E）SER系统的基础上的上游+下游架构的范例，它允许轻松使用/集成的各种自我监督功能。从IEMOCAP数据集预测分类情感类的几个SER实验。这些实验研究了自监督特征模型的微调，将帧级特征聚合为话语级特征和后端分类网络之间的相互作用。所提出的基于单模态speechonly的系统不仅实现了SOTA结果，而且还揭示了强大且微调良好的自监督声学特征的可能性，所述自监督声学特征达到了与使用语音和文本模态的SOTA多模态系统所实现的结果类似的结果。
2022-02-07 cs.AI cs.LG cs.SD
Self-supervised Learning for Speech Enhancement
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
单通道语音增强的监督学习需要仔细标记的训练示例，其中将噪声混合输入到网络中，并训练网络以产生接近理想目标的输出。为了放松对训练数据的条件，我们考虑以自监督的方式训练语音增强网络的任务。我们首先使用有限的干净语音训练集，并通过对其幅度谱图进行自动编码来学习潜在表示。然后，我们自动编码的语音混合记录在嘈杂的环境和训练产生的自动编码器共享一个潜在的代表性与干净的例子。我们表明，使用这种训练模式，我们现在可以使用一个可自主训练的网络将嘈杂的语音映射到其干净的版本，而不需要标记的训练示例或人工干预。
2020-06-18 cs.SD eess.AS
TESSP: Text-Enhanced Self-Supervised Speech Pre-training
Northwestern Polytechnical University（西北工业大学）；Microsoft Corporation（微软公司）
自监督语音预训练为模型赋予语音信号中固有的上下文结构，而自监督文本预训练为模型赋予语言信息。这两种方法都有利于下游语音任务，如ASR。然而，不同的预训练目标使得在同一模型中联合优化语音和文本表示具有挑战性。为了解决这个问题，我们提出了文本增强的自监督语音预训练（TESSP），旨在将语言信息纳入语音预训练。我们的模型由三部分组成，即，语音编码器、文本编码器和共享编码器。该模型以无监督的语音和文本数据作为输入，并分别利用常见的HuBERT和MLM损失。我们还提出了音素上采样和表示交换，使联合建模的语音和文本信息。具体来说，为了解决语音和文本数据之间的长度不匹配问题，我们将文本序列音素化，并使用从一小组监督数据中提取的对齐信息对音素进行上采样。此外，为了缩小学习的语音和文本表示之间的差距，我们根据对齐信息将文本表示与由相应的私有编码器提取的语音表示交换。在Librispeech数据集上的实验结果表明，与WavLM相比，TESSP模型在测试干净集和测试其他集上的性能提高了10%以上.在SUPERB基准测试中，我们对模型进行了测试，结果表明，与WavLM相比，我们的模型在音素识别、声学语音识别和语音翻译方面有更好的性能。
2022-11-24 cs.SD eess.AS
Self-supervised Learning with Speech Modulation Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）
我们证明，训练一个基于多头自我注意力的深度网络来预测1.5秒内被删除的、信息密集的2-8 Hz语音调制，是一种有效的方法，可以让机器学习使用时域上下文信息来提取语音调制。我们的工作表明，一旦在大量未标记的数据上进行训练，自我注意层的输出会随着时间的推移而变化，调制峰值为4 Hz。这些预训练的层可用于初始化自动语音识别系统的部分，以大大减少其对标记语音数据的依赖。
2023-03-22 cs.SD eess.AS
A Supervised Speech enhancement Approach with Residual Noise Control for Voice Communication
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
对于语音通信，重要的是从其噪声版本中提取语音而不引入不自然的人工噪声。通过研究非监督语音增强方法的子带均方误差（MSE），揭示其与已有的有监督语音增强方法的损失函数之间的关系，导出了考虑残余噪声控制的有监督语音增强方法的广义损失函数。我们的广义损失函数包含著名的MSE损失函数和许多其他常用的损失函数作为特殊情况。与传统的损失函数相比，本文提出的广义损失函数能够更灵活地在语音失真和噪声抑制之间进行权衡。这是因为可以引入一组经过充分研究的噪声整形方案来控制实际应用中的残余噪声。客观和主观测试结果验证了残余噪声控制对有监督语音增强方法的重要性。
2019-12-08 cs.SD eess.AS
Self-supervised learning with bi-label masked speech prediction for streaming multi-talker speech recognition
Microsoft（微软）
自监督学习（SSL）利用输入数据本身进行表示学习，已经为各种下游语音任务取得了最先进的结果。然而，大多数以前的研究集中在离线单说话人的应用程序，与有限的调查，在多说话人的情况下，特别是流媒体场景。在本文中，我们研究SSL的流式多说话人语音识别，它产生的transmarts重叠扬声器在流的方式。我们首先观察到，传统的SSL技术不能很好地完成这项任务，由于重叠语音的代表性差。然后，我们提出了一种新的SSL训练目标，称为双标签掩蔽语音预测，它明确保留重叠语音中所有扬声器的表示。我们调查所提出的系统，包括数据配置和量化器的选择的各个方面。建议的SSL设置在LibriSpeechMix数据集上实现了更好的单词错误率。
2022-11-10 cs.SD eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练，提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
Censer: Curriculum Semi-supervised Learning for Speech Recognition Based on Self-supervised Pre-training
Tokyo Institute of Technology（东京工业大学）；Tencent Cloud Xiaowei（腾讯云小微）
最近的研究表明，自我监督预训练和自我训练（伪标签）提供的好处是互补的。然而，在预训练框架下的半监督微调策略仍然没有得到充分的研究。此外，现代半监督语音识别算法要么不加区别地对待未标记的数据，要么用置信度阈值过滤掉噪声样本。不同的未标记数据之间的差异往往被忽视。在本文中，我们提出了Censer，半监督语音识别算法的基础上，自我监督的预训练，以最大限度地利用未标记的数据。Censer的预训练阶段采用wav2vec2.0，微调阶段采用slimIPL的改进半监督学习算法，该算法根据伪标签的质量逐步利用未标记的数据。我们还结合了一个时间伪标签池和一个指数移动平均来控制伪标签的更新频率，以避免模型发散。在Libri-Light和LibriSpeech数据集上的实验结果表明，与现有方法相比，该方法具有更好的性能，同时更加统一。
2022-06-27 cs.SD eess.AS
Extracting speaker and emotion information from self-supervised speech models via channel-wise correlations
Omilia - Conversational Intelligence（Omilia 对话智能公司）；Brno University of Technology（布尔诺理工大学）；University of Helsinki（赫尔辛基大学）
来自大量未标记数据的语音表示的自监督学习已经在几个语音处理任务中实现了最先进的结果。跨时间聚合这些语音表示通常通过使用描述性统计来接近，并且特别地，使用表示系数的一阶和二阶统计。在本文中，我们研究了另一种方法，从自我监督训练模型中提取说话人和情感信息，基于表示系数之间的相关性-相关池。我们展示了平均池的改进，并通过融合将池化方法结合在一起时进一步获得了收益。该代码可在github.com/Lamomal/s3prl_correlation上获得。
2022-10-15 cs.SD eess.AS
