Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University（延世大学）
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题，提出采用特征归一化技术衔接模块，结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Efficient Personalized Speech Enhancement through Self-Supervised Learning
这项工作提出了用于开发单声道扬声器特定（即，个性化）语音增强模型。虽然通才模型必须广泛地解决许多扬声器，但专家模型可以针对特定扬声器的声音调整其增强功能，期望解决更窄的问题。因此，专家能够实现更优化的性能，除了降低计算复杂性。然而，朴素的个性化方法可能需要来自目标用户的干净语音，这不便于获取，例如，由于低于标准的记录条件。为此，我们将个性化设置为zero-shot任务，其中没有额外的目标说话者的干净语音用于训练，或Few-Shot学习任务，其中的目标是最小化用于迁移学习的干净语音的持续时间。在本文中，我们提出了自监督学习方法作为零和Few-Shot个性化任务的解决方案。所提出的方法被设计为从未标记的数据（即，来自目标用户的野外噪声记录）而不知道相应的干净源。我们的实验研究了三种不同的自监督学习机制。实验结果表明，自监督模型能够利用较少的模型参数和来自目标用户的干净数据实现zero-shot和Few-Shot个性化，达到了数据效率和模型压缩的目的。
2022-07-27 cs.LG cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI（亚马逊Alexa人工智能部门）；Google Research（谷歌研究院）
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行，并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性，如语言内容，说话者身份和节奏。在这项工作中，我们引入了一个自我监督的方法来解开房间声学语音，并使用设备仲裁的下游任务的声学表示。我们的结果表明，当标记的训练数据稀缺时，我们提出的方法比基线显着提高了性能，这表明我们的预训练方案学会了对房间声学信息进行编码，同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
Non-Contrastive Self-supervised Learning for Utterance-Level Information Extraction from Speech
Johns Hopkins University（约翰斯·霍普金斯大学）
在最近的研究中，自我监督的预训练模型在迁移学习中往往优于监督的预训练模型。特别地，话语级语音表示的自监督学习（SSL）可以用于需要话语内的一致属性（说话者、语言、情感和年龄）的区别性表示的语音应用中。现有的帧级自监督语音表示，例如，wav 2 vec可以用作具有池化的话语级表示，但是模型通常很大。也有SSL技术来学习话语级表示。最成功的方法之一是对比方法，该方法需要负采样：选择替代样本与当前样本（锚点）进行对比。然而，这并不能确保所有阴性样本属于与没有标签的锚点类不同的类。本文采用一种非对比的自监督方法来学习话语级嵌入。我们将DINO（Distillation with NO Labels）从计算机视觉应用到语音。与对比方法不同，DINO不需要负采样。我们将DINO与以监督方式训练的x向量进行了比较。当转移到下游任务（说话人验证，语音情感识别（SER）和阿尔茨海默病检测）时，DINO的表现优于x-vector。我们研究了迁移学习过程中几个方面的影响，例如将微调过程划分为步骤，块长度或增强。在微调过程中，首先调整最后一个仿射层，然后整个网络一次性超过微调。使用较短的块长度，尽管它们生成更多样化的输入，但并不一定提高性能，这意味着每个应用程序需要至少具有特定长度的语音片段才能获得更好的性能。增强对SER有帮助。
2022-08-10 cs.AI cs.LG eess.AS
General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个自监督学习框架，命名为MGF，通用语音表示学习。在MGF的设计中，考虑了语音的层次性。具体来说，我们建议使用生成学习方法在小时间尺度上捕获细粒度信息，并使用判别学习方法在大时间尺度上提取粗粒度或语义信息。对于音素级学习，我们借用了掩蔽语言模型的思想，但通过用对比损失代替分类损失来为连续语音信号定制它。我们证实了我们的设计，通过评估MGF表示在各种下游任务，包括音素分类，说话人分类，语音识别，和情感分类。实验表明，在不同的时间尺度上进行训练需要不同的训练目标和损失函数，这在总体上是相辅相成的，从而导致更好的性能。
2021-02-03 cs.LG cs.SD eess.AS
Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement
这项工作探讨了如何自我监督学习可以普遍用于发现扬声器的特定功能，使个性化的语音增强模型。我们专门解决了Few-Shot学习场景，其中对测试时间扬声器的清洁录音的访问限于几秒钟，但扬声器的嘈杂录音是丰富的。我们开发了一个简单的对比学习过程，将丰富的噪声数据作为临时的训练目标，通过成对的噪声注入：该模型进行预训练，以最大限度地提高对不同变形的相同的话语之间的协议，并尽量减少对类似变形的不相同的话语之间的协议。我们的实验比较了所提出的预训练方法与两个基线替代方案：说话者不可知的全监督预训练，和说话者特定的自我监督预训练没有对比损失条款。在所有三种方法中，使用对比混合物的方法被发现对模型压缩（使用少85%的参数）和减少干净语音（仅需要3秒）是最鲁棒的。
2022-08-09 cs.LG cs.SD eess.AS
Leveraging unsupervised and weakly-supervised data to improve direct speech-to-speech translation
Google Research（谷歌研究院）
不依赖中间文本表示的端到端语音到语音翻译（S2 ST）是一个迅速兴起的研究前沿。最近的工作表明，这种直接S2 ST系统的性能接近传统的级联S2 ST在可比的数据集上训练时。然而，在实践中，直接S2 ST的性能受到成对S2 ST训练数据的可用性的限制。在这项工作中，我们探索了多种方法，利用更广泛的无监督和弱监督语音和文本数据来提高基于Translatotron 2的直接S2 ST的性能。使用我们最有效的方法，与之前在没有额外数据的情况下训练的最先进的方法相比，CVSS-C语料库上21种语言对的直接S2 ST的平均翻译质量提高了+13.6 BLEU（或相对+113%）。低资源语言的改善更显着（平均增加398%）。我们的比较研究为S2 ST和语音表示学习的未来研究方向提出了建议。
2022-06-27 cs.CL cs.LG cs.SD
Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification
Indiana University（印第安纳大学）
训练个性化的语音增强模型本质上是一个无镜头学习问题，由于隐私的限制和有限的访问从目标用户的无噪声语音。如果测试时用户有大量未标记的嘈杂语音，则可以使用自监督学习来训练个性化的语音增强模型。模型个性化的一种直接方法是使用目标说话者的嘈杂录音作为伪源。然后，伪去噪模型学习去除注入的训练噪声并恢复伪源。然而，这种方法是不稳定的，因为它取决于伪源的质量，这可能是太嘈杂。作为补救措施，我们提出了一个改进的自我监督的方法，通过数据净化。我们首先训练一个SNR预测器模型来估计伪源的逐帧SNR。然后，预测器的估计被转换成权重，该权重调整伪源对训练个性化模型的逐帧贡献。我们的经验表明，建议的数据净化步骤提高了可用性的扬声器特定的噪声数据的背景下，个性化的语音增强。在不依赖任何干净的语音记录或说话者嵌入的情况下，我们的方法可以被视为隐私保护。
2021-04-05 cs.LG cs.SD eess.AS
Similarity Analysis of Self-Supervised Speech Representations
Technion（以色列理工学院）
自监督语音表示学习是近年来语音表示学习领域的一个研究热点。人们已经提出了许多算法来从大规模的未标记数据中学习有用的表示，并且还研究了它们在广泛的语音任务中的应用。然而，很少有研究集中在了解现有方法的属性。在这项工作中，我们的目标是提供一些最具代表性的自我监督算法的比较研究。具体来说，我们使用现有的相似性度量来量化不同自监督表示之间的相似性。我们还设计了探测任务来研究模型的预训练损失与其学习表示中包含的特定语音信息量之间的相关性。除了显示在相同输入下各种自监督模型的行为如何不同之外，我们的研究还发现，训练目标对表示相似性的影响比构建模块（RNN/Transformer/CNN）和方向性（单向/双向）等架构选择更大。我们的研究结果还表明，对于一些自监督算法，预训练损失和下游性能之间存在很强的相关性。
2021-02-02 cs.CL cs.LG cs.SD
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research（京东人工智能研究院）
端到端自动语音识别（ASR）模型通常被训练为优化整个令牌序列的丢失，而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题，我们提出了一个新的框架，基于监督对比学习（SCaLa），以增强音素表征学习的端到端ASR系统。具体来说，我们将自监督的掩蔽对比预测编码（MCPC）扩展到完全监督的设置，其中监督以以下方式应用。首先，SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签，以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明，我们提出的方法实现了2.8和1.4点字符错误率（CER）的绝对减少相比，基线，分别。
2022-06-20 cs.LG cs.SD eess.AS
FitHuBERT: Going Thinner and Deeper for Knowledge Distillation of Speech Self-Supervised Learning
KAIST（韩国科学技术院）
大规模语音自监督学习（SSL）已经成为语音处理的主流领域，然而其庞大的规模所带来的计算代价问题使得学术界的进入门槛很高。此外，语音SSL模型的现有蒸馏技术通过减少层来压缩模型，这导致语言模式识别任务（例如音素识别（PR））的性能下降。在本文中，我们提出了FitHuBERT，这使得更薄的尺寸在几乎所有的模型组件和更深的层相比，以前的语音SSL蒸馏工程。此外，我们采用了一个时间减少层，以加快推理时间，并提出了一种基于提示的蒸馏方法，以减少性能下降。与HuBERT相比，我们的方法将模型的大小减少到23.8%，推理时间减少到35.9%。此外，我们实现了12.1%的单词错误率和13.3%的音素错误率的SUPERB基准，这是优于以前的工作。
2022-07-01 cs.CL cs.LG eess.AS
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab（字节跳动人工智能实验室）
在最近的半监督语音识别趋势中，自监督表示学习和伪标记都显示出有希望的结果。在本文中，我们提出了一种新的方法，结合他们的想法，端到端的语音识别模型。在没有任何额外损失函数的情况下，我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测，以学习强声学表示，并使训练对标签噪声具有鲁棒性。在我们的半监督实验中，该方法可以提高在伪标签上训练时的模型性能，并且在Librispeech 100小时实验中，与其他半监督方法相比，我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
Cocktail HuBERT: Generalized Self-Supervised Pre-training for Mixture and Single-Source Speech
Meta AI - FAIR
自监督学习有效地利用了未标记的数据，提高了标记效率，并推广到没有标记数据的领域。虽然最近的工作已经研究了泛化到更多的声学/语言学领域，语言和模态，这些调查仅限于单源语音与一个主要发言人在录音。本文介绍了鸡尾酒HuBERT，一个自监督学习框架，推广到混合语音使用掩蔽伪声源分离目标。这个目标鼓励模型识别源的数量，分离和理解上下文，并推断表示为发现单元的掩蔽区域的内容。Cocktail HuBERT在多扬声器ASR上的WER降低了69%，在日记化上的DER降低了31%，并且在SUPERB的单扬声器和多扬声器任务上具有竞争力。
2023-03-20 cs.CL cs.LG cs.SD
StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models
The University of Tokyo（东京大学）；NTT Corporation（日本电信电话公司）
StyleCap提出一种端到端方法，利用语音和语言自监督学习模型，从语音生成自然语言说话风格描述，通过LLM解码器和SSL特征提升准确性与多样性。
2023-12-27 cs.CL cs.LG cs.SD
Experiments on Turkish ASR with Self-Supervised Speech Representation Learning
Computer Engineering Department, Koç University（科奇大学计算机工程系）
虽然土耳其语被列为低资源语言，但关于土耳其语自动语音识别（ASR）的文献相对较旧。在这份报告中，我们提出了我们的研究结果土耳其ASR与语音表示学习使用HUBERT。我们使用从在线资源中收集的大规模数据调查土耳其语的HUBERT预培训。我们使用来自YouTube的6，500小时的语音数据对模型进行预训练。结果表明，这些模型还没有准备好用于商业用途，因为它们对通常发生在现实世界中的干扰（如口音，俚语，背景噪声和干扰的变化）不鲁棒。我们分析了在商业环境中使用的模型的典型错误和局限性。
2022-12-23 cs.CL cs.LG cs.SD
Membership Inference Attacks Against Self-supervised Speech Models
National Taiwan University（国立台湾大学）
最近，将自监督学习（SSL）的思想应用于连续语音已经开始受到关注。在大量未标记音频上预训练的SSL模型可以生成通用表示，这些表示有利于各种语音处理任务。尽管它们无处不在的部署，但是，这些模型的潜在隐私风险还没有得到很好的研究。在本文中，我们提出了第一次的隐私分析的几个SSL语音模型使用成员推断攻击（MIA）下的黑盒访问。实验结果表明，这些预训练的模型在说话人和话语层的曲线下面积（AUC）都很大，容易受到MIA的影响，容易发生隶属度信息泄漏。此外，我们还进行了几项消融研究，以了解有助于MIA成功的因素。
2022-08-15 cs.CR cs.LG cs.SD
Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction
Du Xiaoman（度小满）
针对目标语音提取中的说话人混淆问题，提出自监督解耦表示学习方法，通过两阶段网络分离说话人身份信息，并引入自适应调制Transformer进行条件指导，有效降低了说话人混淆率。
2024-08-24 cs.AI cs.LG cs.SD
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University（勒芒大学）
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据，然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式，但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中，我们提供了一个多模态机器学习框架的语音表示学习，通过利用两种模态之间的相关性，即语音及其相应的文本翻译。在这里，我们构建了一个卷积神经网络音频编码器，能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示，我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
Self-Supervised Learning for Speech Enhancement through Synthesis
Bose Corporation（博士公司）；Georgia Institute of Technology（佐治亚理工学院）
现代语音增强（SE）网络通常通过时频掩蔽、潜在表示掩蔽或区分信号预测来实现噪声抑制。相比之下，最近的一些作品通过生成语音合成探索SE，其中系统的输出在固有的有损特征去噪步骤之后由神经声码器合成。在本文中，我们提出了一种去噪声码器（DeVo）的方法，其中声码器接受嘈杂的表示，并学习直接合成干净的语音。我们利用自监督学习（SSL）语音模型的丰富表示来发现相关特征。我们在15个潜在的SSL前端进行候选搜索，随后训练我们的声码器对抗最好的SSL配置。此外，我们展示了一个因果版本，能够在流媒体音频上运行，延迟10毫秒，性能下降最小。最后，我们进行了客观评估和主观听力研究，以表明我们的系统提高了客观指标，主观上优于现有的最先进的SE模型。
2022-11-04 cs.CL cs.LG cs.SD
VARAN: Variational Inference for Self-Supervised Speech Models Fine-Tuning on Downstream Tasks
VK LabRussia（VK实验室俄罗斯）；T-TechRussia（T-Tech俄罗斯）
本文提出 VARAN 框架，通过层专用探测头和数据依赖加权实现自监督语音模型微调中的动态层聚合，在 ASR 和 SER 任务上表现优越，尤其结合 LoRA 时效果更佳。
2025-08-16 cs.LG
Speaker Normalization for Self-supervised Speech Emotion Recognition
IBM Research AI（IBM研究院人工智能部门）
大的语音情感识别数据集很难获得，小的数据集可能包含偏见。而基于深度网络的分类器则倾向于利用这些偏见，并找到说话者特征等捷径。这些捷径通常会损害模型的泛化能力。为了解决这一挑战，我们提出了一个基于梯度的对手学习框架，学习语音情感识别任务，同时规范化扬声器的特征表示。我们证明了我们的方法在独立于说话者和依赖于说话者的设置上的有效性，并在具有挑战性的IEMOCAP数据集上获得了新的最先进的结果。
2022-11-06 cs.LG
Supervised Speech Separation Based on Deep Learning: An Overview
The Ohio State University（俄亥俄州立大学）；Northwestern Polytechnical University（西北工业大学）；Baidu Research（百度研究院）
语音分离是将目标语音从背景干扰中分离出来的任务。传统上，语音分离是作为信号处理问题来研究的。最近的方法将语音分离公式化为监督学习问题，其中从训练数据学习语音、说话者和背景噪声的判别模式。在过去的十年中，许多监督分离算法被提出。特别是，最近将深度学习引入到监督语音分离中，大大加快了进展并提高了分离性能。本文综述了近几年来基于深度学习的有监督语音分离的研究进展。首先介绍了语音分离的背景和监督分离的概念。然后，我们讨论了监督分离的三个主要组成部分：学习机，训练目标和声学特征。大部分概述是关于分离算法的，我们回顾了单声道方法，包括语音增强（语音-非语音分离），扬声器分离（多说话者分离）和语音去混响，以及多麦克风技术。推广的重要问题，独特的监督学习，进行了讨论。这一概述提供了一个历史的角度来看，如何取得进展。此外，我们还讨论了一些概念问题，包括什么构成目标源。
2018-06-15 cs.CL cs.LG cs.NE
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型，例如wav 2 vec 2.0和HuBERT，已经对自动语音识别（ASR）的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显，当使用可用的标记数据进行微调时。然而，微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中，我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练（CoPT）。CoPT比半监督训练（SST）更有效，半监督训练是在ASR中利用未标记数据的标准方法，因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率（WERs）的结果，等于或略优于使用SST。此外，我们表明，使用CoPT模型的伪标签，并使用这些标签在SST中，结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University（台湾大学）；Google Brain（谷歌大脑）
语音失真是一个长期存在的问题，它降低了监督训练的语音处理模型的性能。因此，我们需要提高语音处理模型的鲁棒性，以在不损害原始语音处理性能的前提下，在遇到语音失真时获得良好的性能。在这项工作中，我们提出了提高域对抗训练（DAT）的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上，五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型，我们分析了二进制域和多域设置，其中前者将所有失真的语音视为一个域，而后者将不同的失真视为不同的域。与监督训练方法相比，我们在目标域中获得了有希望的结果，其中语音数据被不同的失真所扭曲，包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
Perceive and predict: self-supervised speech representation based loss functions for speech enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
本研究发现干净与带噪语音的自监督早期特征编码距离与语音质量及可懂度高度相关，将其作为损失函数训练语音增强模型，在PESQ和STOI等客观指标上优于STFT频谱图距离等常见损失函数。
2023-06-26 cs.CL cs.LG cs.SD
Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA（英伟达）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型，仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
Semi-Supervised Speech Recognition via Local Prior Matching
Massachusetts Institute of Technology（麻省理工学院）；Facebook AI Research（Facebook人工智能研究）
对于像语音识别这样的序列转换任务，强结构化的先验模型编码了关于目标空间的丰富信息，通过分配低概率来隐含地排除无效序列。在这项工作中，我们提出了本地先验匹配（LPM），一个半监督的目标，从一个强先验（例如语言模型）提取知识，提供学习信号的判别模型训练的未标记的语音。我们证明，LPM理论上是动机良好，易于实现，并优于现有的知识蒸馏技术在可比的设置。从100小时的标记语音训练的基线开始，再加上360小时的未标记数据，LPM在干净和嘈杂的测试集上恢复了54%和73%的单词错误率出错率，相对于相同数据上的完全监督模型。
2020-02-24 cs.CL cs.LG eess.AS
The Effect of Spoken Language on Speech Enhancement using Self-Supervised Speech Representation Loss Functions
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
研究探讨自监督语音表示的训练语言对语音增强模型性能的影响，发现训练语言匹配对性能影响较小，而特定语言的训练数据量显著影响增强性能。
2023-10-20 cs.LG cs.SD eess.AS
Leveraging Weakly Supervised Data to Improve End-to-End Speech-to-Text Translation
Google Research（谷歌研究院）
与自动语音识别（ASR）和文本机器翻译（MT）模型的级联相比，端到端语音翻译（ST）模型具有许多潜在优势，包括降低推理延迟和避免错误复合。然而，端到端ST的质量往往受到缺乏训练数据的限制，因为很难收集大型并行语料库的语音和翻译的抄本对。以前的研究已经提出了使用预训练的组件和多任务学习，以便从弱监督的训练数据中受益，例如语音到成绩单或文本到外国文本对。在本文中，我们证明了使用预训练的MT或文本到语音（TTS）合成模型将弱监督数据转换为ST训练的语音到翻译对可能比多任务学习更有效。此外，我们证明了一个高质量的端到端ST模型可以只使用弱监督数据集进行训练，并且来自未标记的单语文本或语音的合成数据可以用于提高性能。最后，我们讨论了避免过拟合合成语音的定量消融研究的方法。
2019-02-10 cs.CL cs.LG cs.SD
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University（国立台湾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出PW-HuBERT框架，利用视觉基础语音模型生成伪词级目标，无需语音-文本配对数据，在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Hypergraph based semi-supervised learning algorithms applied to speech recognition problem: a novel approach
Ho Chi Minh City University of Technology-VNU HCM（胡志明市理工大学（越南国家大学胡志明市分校））
大多数基于网络的语音识别方法都是基于网络中两个相邻语音样本的标签可能相同的假设。然而，假设语音样本之间的成对关系是不完整的。一组语音样本显示非常相似的模式，往往有类似的标签的信息被错过了。克服上述假设的信息损失的自然方法是将语音样本的特征数据表示为超图。因此，本文介绍了三种基于半监督学习的非规范化、随机游动和对称规范化超图Laplacian方法，并将其应用于由语音样本特征数据构造的超图，以预测语音样本的标签。实验结果表明，这三种基于超图拉普拉斯算子的半监督学习方法的灵敏度性能指标均大于隐马尔可夫模型方法的灵敏度性能指标（当前应用于语音识别问题的最先进的方法）和基于图的半监督学习方法（即当前最先进的基于网络的分类问题的方法）应用于从语音样本的特征数据创建的网络。
2018-10-28 cs.LG cs.SD eess.AS
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Towards Spontaneous Style Modeling with Semi-supervised Pre-training for Conversational Text-to-Speech Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；XVerse Inc.（元象科技）；The Chinese University of Hong Kong（香港中文大学）
针对自发性语音数据稀缺和标注成本高的问题，提出半监督预训练方法，结合文本与语音信息检测自发性行为，并利用语言感知编码器建模会话关系，实现表现性语音合成。
2023-08-31 cs.CL cs.LG cs.SD
Speech Emotion Recognition using Self-Supervised Features
IBM Research AI（IBM 人工智能研究院）
自监督预训练特征在自然语言处理（NLP）领域一直提供最先进的结果;然而，它们在语音情感识别（SER）领域的优点仍然需要进一步研究。在本文中，我们介绍了一个模块化的端到端（E2 E）SER系统的基础上的上游+下游架构的范例，它允许轻松使用/集成的各种自我监督功能。从IEMOCAP数据集预测分类情感类的几个SER实验。这些实验研究了自监督特征模型的微调，将帧级特征聚合为话语级特征和后端分类网络之间的相互作用。所提出的基于单模态speechonly的系统不仅实现了SOTA结果，而且还揭示了强大且微调良好的自监督声学特征的可能性，所述自监督声学特征达到了与使用语音和文本模态的SOTA多模态系统所实现的结果类似的结果。
2022-02-07 cs.AI cs.LG cs.SD
KinSPEAK: Improving speech recognition for Kinyarwanda via semi-supervised learning methods
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出KinSPEAK，结合自监督预训练、课程式微调和五代半监督学习，仅用公有领域数据训练卢旺达语ASR模型，在新数据集与Mozilla Common Voice上分别取得3.2%和15.6% WER。
2024-03-02 cs.LG cs.SD eess.AS
Representative Subset Selection for Efficient Fine-Tuning in Self-Supervised Speech Recognition
Lahore University of Management Sciences（拉合尔管理科学大学）
本文提出COWERAGE算法，通过基于早期训练WER的样本覆盖度选择代表性子集，在自监督ASR微调中相比随机采样和现有剪枝方法实现最高17%的相对WER提升。
2023-04-11 cs.LG cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文将自监督语音表征用于非侵入式听障语音可懂度预测，在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能，并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
SESQA: semi-supervised learning for speech quality assessment
Dolby Laboratories（杜比实验室）
自动语音质量评估是一个重要的，横向的任务，其进展受到人类注释的缺乏，对看不见的记录条件的概括性差，以及现有方法缺乏灵活性的阻碍。在这项工作中，我们使用半监督学习方法来解决这些问题，将可用的注释与编程生成的数据相结合，并使用3种不同的优化标准以及5个互补的辅助任务。我们的结果表明，这种半监督方法可以将现有方法的错误减少36%以上，同时在可重用特征或辅助输出方面提供额外的好处。改进进一步证实了一个样本外测试显示有前途的泛化能力。
2021-02-08 cs.LG cs.SD eess.AS
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
一致性正则化最近被应用于半监督序列到序列（S2S）自动语音识别（ASR）。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强，并且需要静态教师模型来为未转录的语音产生伪转录。然而，这种范式未能充分利用一致性正则化。首先，SpecAugment的掩蔽操作可能会破坏语音的语言内容，从而影响伪标签的质量。其次，S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中，我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外，我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明，与有监督的基线相比，我们的改进范式在单说话人环境下的CER提高了12.2%，在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
RobustL2S: Speaker-Specific Lip-to-Speech Synthesis exploiting Self-Supervised Representations
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务研究院）
RobustL2S提出模块化唇语到语音合成框架，先用非自回归模型从自监督视觉特征解耦语音内容，再用声码器生成波形，在多个数据集上取得最先进性能。
2023-07-03 cs.LG cs.SD eess.AS
Learning Problem-agnostic Speech Representations from Multiple Self-supervised Tasks
Amazon Research（亚马逊研究院）
在没有监督的情况下学习良好的表示仍然是机器学习中的一个开放问题，并且对于语音信号尤其具有挑战性，语音信号通常以具有复杂分层结构的长序列为特征。然而，最近的一些工作表明，它是可能的，以获得有用的语音表示，采用自监督编码器-解码器的方法。本文提出了一种改进的自监督方法，其中单个神经编码器后面跟着多个工人，共同解决不同的自监督任务。不同任务之间所需的共识自然会对编码器施加有意义的约束，有助于发现一般表征并最大限度地减少学习肤浅表征的风险。实验表明，该方法可以学习可转移的，鲁棒的，和问题不可知的功能，进行相关信息的语音信号，如说话人身份，音素，甚至更高级别的功能，如情感线索。此外，许多设计选择使编码器易于出口，便于直接使用或适应不同的问题。
2019-04-06 cs.LG cs.SD eess.AS
Semi-supervised Sequence-to-sequence ASR using Unpaired Speech and Text
Brno University of Technology（布尔诺理工大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；MERL（三菱电机研究实验室）
序列到序列的自动语音识别（ASR）模型需要大量的数据来获得高性能。出于这个原因，最近对此类模型中的无监督和半监督训练的兴趣激增。这项工作建立在最近的结果显示显着改善半监督训练使用周期一致性和相关技术。这样的技术通过将ASR与文本到语音（TTS）模型组合来导出能够利用未配对的语音和/或文本数据的训练过程和损失。特别是，这项工作提出了一种新的半监督损失结合端到端可区分ASR $\rightarrow$ TTS损失与TTS $\rightarrow$ ASR损失。该方法能够充分利用未配对的语音和文本数据，在WER方面优于最近提出的相关技术。我们提供了大量的结果分析数据量和语音和文本模态的影响，并显示在华尔街日报和Librispeech语料库的一致收益。我们的代码在ESPnet中提供，以重现实验。
2019-08-20 cs.CL cs.IR cs.LG
EAT: Enhanced ASR-TTS for Self-supervised Speech Recognition
Brno University of Technology（布尔诺理工大学）
自监督ASR-TTS模型在域外数据条件下受到影响。在这里，我们提出了一个增强的ASR-TTS（EAT）模型，它包括两个主要特征：1）ASR $\rightarrow$ TTS方向配备了一个语言模型奖励，以惩罚ASR假设，然后将其转发到TTS。2)在TTS $\rightarrow$ ASR方向上，引入超参数以在将合成语音发送到ASR以处理域外数据之前缩放来自合成语音的注意力上下文。训练策略和EAT模型的有效性进行了探讨域外数据条件下。结果表明，EAT在Librispeech和BABEL上分别将监督训练和自监督训练的性能差距缩小了2.6%和2.7%。
2021-04-13 cs.AI cs.LG cs.SD
Africa-Centric Self-Supervised Pre-Training for Multilingual Speech Representation in a Sub-Saharan Context
Orange Innovation France（法国奥兰治创新中心）
首个完全基于非洲语音训练的自监督多语言模型，使用60000小时21种语言数据，基于HuBERT架构在ASR任务上媲美大模型，LID任务准确率超基线22%以上。
2024-04-22 cs.CL cs.LG cs.SD
Semi-Supervised Training for Improving Data Efficiency in End-to-End Speech Synthesis
Google（谷歌）
虽然Tacotron等端到端的文本到语音（TTS）模型已经显示出出色的结果，但它们通常需要大量高质量的<text，audio>对来进行训练，这是昂贵的。在本文中，我们提出了一个半监督训练框架来提高Tacotron的数据效率。这个想法是允许Tacotron利用包含在大型公开文本和语音语料库中的文本和声学知识。重要的是，这些外部数据是未配对的，并且可能存在噪声。具体来说，首先，我们将输入文本中的每个单词嵌入到单词向量中，并根据它们调节Tacotron编码器。然后，我们使用未配对的语音语料库在声学域中预训练Tacotron解码器。最后，我们使用可用的配对数据对模型进行微调。我们证明，所提出的框架，使Tacotron生成清晰的语音使用不到半个小时的配对训练数据。
2018-08-30 cs.CL cs.LG cs.SD
Efficient Speech Quality Assessment using Self-supervised Framewise Embeddings
Logitech（罗技）
自动语音质量评估对于音频研究人员、开发人员、语音和语言病理学家以及系统质量工程师来说至关重要。目前最先进的系统是基于帧的语音功能（手工设计或学习）结合时间依赖性建模。本文提出了一种高效的系统，其结果可与ConferencingSpeech 2022挑战中的最佳性能模型相媲美。我们提出的系统的特点是参数数量较少（40- 60倍），FLOPS更少（100倍），内存消耗更低（10- 15倍），延迟更低（30倍）。因此，语音质量从业者可以更快地部署系统，在资源有限的硬件上部署系统，总体而言，所提出的系统有助于可持续的机器学习。本文还得出结论，逐帧嵌入优于话语级嵌入，并且具有声学条件建模的多任务训练不会降低语音质量预测，同时提供更好的解释。
2022-11-12 cs.AI cs.LG cs.SD
