Leveraging unsupervised and weakly-supervised data to improve direct speech-to-speech translation
Google Research（谷歌研究院）
不依赖中间文本表示的端到端语音到语音翻译（S2 ST）是一个迅速兴起的研究前沿。最近的工作表明，这种直接S2 ST系统的性能接近传统的级联S2 ST在可比的数据集上训练时。然而，在实践中，直接S2 ST的性能受到成对S2 ST训练数据的可用性的限制。在这项工作中，我们探索了多种方法，利用更广泛的无监督和弱监督语音和文本数据来提高基于Translatotron 2的直接S2 ST的性能。使用我们最有效的方法，与之前在没有额外数据的情况下训练的最先进的方法相比，CVSS-C语料库上21种语言对的直接S2 ST的平均翻译质量提高了+13.6 BLEU（或相对+113%）。低资源语言的改善更显着（平均增加398%）。我们的比较研究为S2 ST和语音表示学习的未来研究方向提出了建议。
2022-06-27 cs.CL cs.LG cs.SD
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
一致性正则化最近被应用于半监督序列到序列（S2S）自动语音识别（ASR）。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强，并且需要静态教师模型来为未转录的语音产生伪转录。然而，这种范式未能充分利用一致性正则化。首先，SpecAugment的掩蔽操作可能会破坏语音的语言内容，从而影响伪标签的质量。其次，S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中，我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外，我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明，与有监督的基线相比，我们的改进范式在单说话人环境下的CER提高了12.2%，在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
Similarity Analysis of Self-Supervised Speech Representations
Technion（以色列理工学院）
自监督语音表示学习是近年来语音表示学习领域的一个研究热点。人们已经提出了许多算法来从大规模的未标记数据中学习有用的表示，并且还研究了它们在广泛的语音任务中的应用。然而，很少有研究集中在了解现有方法的属性。在这项工作中，我们的目标是提供一些最具代表性的自我监督算法的比较研究。具体来说，我们使用现有的相似性度量来量化不同自监督表示之间的相似性。我们还设计了探测任务来研究模型的预训练损失与其学习表示中包含的特定语音信息量之间的相关性。除了显示在相同输入下各种自监督模型的行为如何不同之外，我们的研究还发现，训练目标对表示相似性的影响比构建模块（RNN/Transformer/CNN）和方向性（单向/双向）等架构选择更大。我们的研究结果还表明，对于一些自监督算法，预训练损失和下游性能之间存在很强的相关性。
2021-02-02 cs.CL cs.LG cs.SD
Cocktail HuBERT: Generalized Self-Supervised Pre-training for Mixture and Single-Source Speech
Meta AI - FAIR
自监督学习有效地利用了未标记的数据，提高了标记效率，并推广到没有标记数据的领域。虽然最近的工作已经研究了泛化到更多的声学/语言学领域，语言和模态，这些调查仅限于单源语音与一个主要发言人在录音。本文介绍了鸡尾酒HuBERT，一个自监督学习框架，推广到混合语音使用掩蔽伪声源分离目标。这个目标鼓励模型识别源的数量，分离和理解上下文，并推断表示为发现单元的掩蔽区域的内容。Cocktail HuBERT在多扬声器ASR上的WER降低了69%，在日记化上的DER降低了31%，并且在SUPERB的单扬声器和多扬声器任务上具有竞争力。
2023-03-20 cs.CL cs.LG cs.SD
StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models
The University of Tokyo（东京大学）；NTT Corporation（日本电信电话公司）
StyleCap提出一种端到端方法，利用语音和语言自监督学习模型，从语音生成自然语言说话风格描述，通过LLM解码器和SSL特征提升准确性与多样性。
2023-12-27 cs.CL cs.LG cs.SD
Experiments on Turkish ASR with Self-Supervised Speech Representation Learning
Computer Engineering Department, Koç University（科奇大学计算机工程系）
虽然土耳其语被列为低资源语言，但关于土耳其语自动语音识别（ASR）的文献相对较旧。在这份报告中，我们提出了我们的研究结果土耳其ASR与语音表示学习使用HUBERT。我们使用从在线资源中收集的大规模数据调查土耳其语的HUBERT预培训。我们使用来自YouTube的6，500小时的语音数据对模型进行预训练。结果表明，这些模型还没有准备好用于商业用途，因为它们对通常发生在现实世界中的干扰（如口音，俚语，背景噪声和干扰的变化）不鲁棒。我们分析了在商业环境中使用的模型的典型错误和局限性。
2022-12-23 cs.CL cs.LG cs.SD
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中，自监督学习（SSL）已经成为一个重要的研究方向。事实证明，SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面，监督多任务学习（MTL）是另一种表示学习范式，已被证明在计算机视觉（CV）和自然语言处理（NLP）中有效。然而，在语音处理中，还没有系统的研究，一般表示学习模型的监督MTL训练。在本文中，我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性，以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University（勒芒大学）
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据，然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式，但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中，我们提供了一个多模态机器学习框架的语音表示学习，通过利用两种模态之间的相关性，即语音及其相应的文本翻译。在这里，我们构建了一个卷积神经网络音频编码器，能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示，我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.（谷歌公司）
训练最先进的自动语音识别（ASR）模型通常需要大量的转录语音。在这项工作中，我们证明了一个模态匹配的联合语音和文本模型，可以利用训练一个大规模的多语言ASR模型，没有任何监督（手动转录）的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言，零监督语音，现实世界的设置，以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集，我们定义了覆盖$102$语言的任务，其中转录的语音在这些语言的$52$中可用，并且可以用于提高其余$50$上的端到端ASR质量。首先，我们表明，通过将语音表示与字节级文本表示相结合，并使用语言嵌入，我们可以显着降低字符出错率（CER）的语言没有监督语音从64.8%到30.8%，相对减少53%。其次，使用南亚语言的一个子集，我们表明，Maestro-U可以促进知识转移的语言与监督语音，即使有限制，没有字形重叠。总体而言，Maestro-U相对于Oracle的性能差距缩小了68.5%，并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Stabilizing Label Assignment for Speech Separation by Self-supervised Pre-training
National Taiwan University（国立台湾大学）；University of Edinburgh（爱丁堡大学）
语音分离已经得到了很好的发展，非常成功的排列不变训练（PIT）的方法，虽然频繁的标签分配切换发生在PIT训练过程中仍然是一个问题，当需要更好的收敛速度和可实现的性能。在本文中，我们建议进行自我监督的预训练，以稳定训练语音分离模型中的标签分配。在几种自监督方法、几种典型的语音分离模型和两个不同的数据集上的实验表明，如果选择适当的自监督方法，可以取得很好的效果。
2021-08-22 cs.CL cs.SD eess.AS
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
Self-supervised Learning with Random-projection Quantizer for Speech Recognition
Google Research（谷歌研究院）
提出了一种简单有效的自监督学习方法用于语音识别。该方法学习一个模型来预测掩蔽的语音信号，以随机投影量化器生成的离散标签的形式。特别地，量化器用随机初始化的矩阵投影语音输入，并且在随机初始化的码本中进行最近邻查找。在自监督学习期间，矩阵和码本都不更新。由于随机投影量化器没有经过训练，并且与语音识别模型分离，该设计使得该方法灵活，并且与通用语音识别架构兼容。在LibriSpeech上，我们的方法实现了与以前使用非流模型的自监督学习的工作相似的单词错误率，并且提供了比wav 2 vec 2.0和w2 v-BERT更低的单词错误率和延迟。在多语言任务上，该方法也比wav 2 vec 2.0和w2 v-BERT提供了显着的改进。
2022-06-29 cs.CL cs.SD eess.AS
Semi-supervised Sequence-to-sequence ASR using Unpaired Speech and Text
Brno University of Technology（布尔诺理工大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）；MERL（三菱电机研究实验室）
序列到序列的自动语音识别（ASR）模型需要大量的数据来获得高性能。出于这个原因，最近对此类模型中的无监督和半监督训练的兴趣激增。这项工作建立在最近的结果显示显着改善半监督训练使用周期一致性和相关技术。这样的技术通过将ASR与文本到语音（TTS）模型组合来导出能够利用未配对的语音和/或文本数据的训练过程和损失。特别是，这项工作提出了一种新的半监督损失结合端到端可区分ASR $\rightarrow$ TTS损失与TTS $\rightarrow$ ASR损失。该方法能够充分利用未配对的语音和文本数据，在WER方面优于最近提出的相关技术。我们提供了大量的结果分析数据量和语音和文本模态的影响，并显示在华尔街日报和Librispeech语料库的一致收益。我们的代码在ESPnet中提供，以重现实验。
2019-08-20 cs.CL cs.IR cs.LG
Exploring Efficient-tuning Methods in Self-supervised Speech Models
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）
在这项研究中，我们的目标是探索有效的语音自监督学习的调整方法。最近的研究表明，自监督学习（SSL）可以学习不同的语音任务的强大的表示。然而，为每个下游任务微调预训练模型是参数效率低下的，因为SSL模型非常大，有数百万个参数。适配器是NLP中常用的轻量级模块，用于解决这个问题。在下游任务中，SSL模型的参数被冻结，并且只训练适配器。由于缺乏研究，一般探索适配器的自我监督语音任务的有效性，我们打算通过在预训练的语音SSL模型中添加各种适配器模块来填补这一空白。我们表明，性能的奇偶校验可以实现超过90%的参数减少，并讨论了有效的调整技术的优点和缺点。这是第一次全面调查各种适配器类型的语音任务。
2023-01-30 cs.LG cs.SD eess.AS
Don't speak too fast: The impact of data bias on self-supervised speech models
National Taiwan University（台湾大学）
自监督语音模型（S3M）已被证明在许多语音下游任务中是成功的，如ASR。然而，预训练数据如何影响S3M的下游行为仍然是一个未探索的问题。在本文中，我们研究了预训练数据如何影响S3M，通过针对不同语音因素（包括性别，内容和韵律）的偏见数据集上的预训练模型，并在SUPERB Benchmark中选择的下游任务上评估这些预训练的S3M。我们的实验表明，S3Ms对性别偏见具有容忍性。此外，我们发现，语音的内容对S3Ms在下游任务中的性能影响不大，但S3Ms确实表现出对较慢的语音速率的偏好。
2022-04-26 cs.CL cs.SD eess.AS
Speech Resynthesis from Discrete Disentangled Self-Supervised Representations
Tel Aviv University（特拉维夫大学）
我们建议使用自监督离散表示的语音再合成的任务。为了生成解纠缠表示，我们分别提取语音内容，韵律信息和扬声器身份的低比特率表示。这允许以可控的方式合成语音。我们分析了各种最先进的，自我监督的表示学习方法，并阐明了每种方法的优点，同时考虑重建质量和解纠缠属性。具体来说，我们评估的F0重建，说话人辨识性能（重新合成和语音转换），录音的可懂度，和整体质量使用主观的人的评价。最后，我们演示了如何将这些表示用于超轻量语音编解码器。使用获得的表示，我们可以得到每秒365比特的速率，同时提供比基线方法更好的语音质量。音频样本可以在以下链接中找到：speechbot.github.io/resynthesis。
2021-07-27 cs.LG cs.SD eess.AS
Supervised Speech Separation Based on Deep Learning: An Overview
The Ohio State University（俄亥俄州立大学）；Northwestern Polytechnical University（西北工业大学）；Baidu Research（百度研究院）
语音分离是将目标语音从背景干扰中分离出来的任务。传统上，语音分离是作为信号处理问题来研究的。最近的方法将语音分离公式化为监督学习问题，其中从训练数据学习语音、说话者和背景噪声的判别模式。在过去的十年中，许多监督分离算法被提出。特别是，最近将深度学习引入到监督语音分离中，大大加快了进展并提高了分离性能。本文综述了近几年来基于深度学习的有监督语音分离的研究进展。首先介绍了语音分离的背景和监督分离的概念。然后，我们讨论了监督分离的三个主要组成部分：学习机，训练目标和声学特征。大部分概述是关于分离算法的，我们回顾了单声道方法，包括语音增强（语音-非语音分离），扬声器分离（多说话者分离）和语音去混响，以及多麦克风技术。推广的重要问题，独特的监督学习，进行了讨论。这一概述提供了一个历史的角度来看，如何取得进展。此外，我们还讨论了一些概念问题，包括什么构成目标源。
2018-06-15 cs.CL cs.LG cs.NE
Fast Development of ASR in African Languages using Self Supervised Speech Representation Learning
African Masters of Machine Intelligence（非洲机器学习硕士项目）；Naver Labs, Europe（欧洲 Naver 实验室）
本文描述了2020年6月非洲机器智能硕士（AMMI）期间启动的非正式合作的结果。在一系列关于使用移动应用程序收集语音数据和从语音中进行自我监督表示学习的讲座和实验之后，一小群学生和讲师继续研究三种语言的自动语音识别（ASR）项目：沃洛夫语，Ga和索马里语。本文介绍了如何收集数据和ASR系统开发与少量（1小时）的转录语音作为训练数据。在这些低资源条件下，在大量原始语音上预训练模型对于所开发的ASR系统的效率至关重要。
2021-03-16 cs.CL cs.SD eess.AS
Teacher-Student MixIT for Unsupervised and Semi-supervised Speech Separation
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们介绍了一种新的半监督学习框架的端到端的语音分离。该方法首先使用未分离源的混合物和混合不变训练（MixIT）准则来训练教师模型。然后，教师模型估计分离的源，这些源用于通过标准排列不变训练（PIT）来训练学生模型。学生模型可以用监督数据进行微调，即，配对的人工混合物和干净的语音源，并通过模型蒸馏进一步改进。单通道和多通道混合的实验表明，师生培训解决了在原始MixIT方法中观察到的过度分离问题。此外，半监督的性能与使用十倍的监督数据量训练的全监督分离系统相当。
2021-09-09 cs.CL cs.SD eess.AS
Investigating self-supervised, weakly supervised and fully supervised training approaches for multi-domain automatic speech recognition: a study on Bangladeshi Bangla
Shahjalal University of Science and Technology（沙贾拉尔科技大学）；University of Malta（马耳他大学）；Leading University（领先大学）
本研究通过BanSpeech基准（6.52小时、13领域）评估自监督wav2vec 2.0、弱监督Whisper和全监督CNN，发现自监督跨语言预训练最优，且模型对自发语音领域识别困难。
2023-05-11 cs.CL cs.SD eess.AS
SpeechGLUE: How Well Can Self-Supervised Speech Models Capture Linguistic Knowledge?
NTT Corporation（NTT公司）
本文提出SpeechGLUE基准以评估语音自监督模型捕捉语言学知识的能力，实验表明语音SSL模型虽不及文本模型，但优于基线，能从无标签语音数据中获取一定的通用语言学知识。
2024-08-27 cs.CL cs.SD eess.AS
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA（安蒂奥基亚大学）
最先进的自动语音识别（ASR）系统在健康语音上表现良好。然而，对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难，因为语音的几个方面，如发音、韵律和发声可能受损。具体来说，我们训练一个声学模型，从Wav 2 Vec，Hubert和跨语言XLSR模型中提取的特征。结果表明，在大的未标记的数据上预训练的语音表示可以提高字出错率（WER）的性能。特别是，多语言模型的功能导致WER低于过滤器组（Fbank）或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者（UASpeech语料库）、患有帕金森氏症构音障碍的西班牙语使用者（PC-GITA语料库）和患有基于麻痹的构音障碍的意大利语使用者（EasyCall语料库）中观察到改善。与使用Fbank特征相比，基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
Semi-Supervised Speech Recognition via Local Prior Matching
Massachusetts Institute of Technology（麻省理工学院）；Facebook AI Research（Facebook人工智能研究）
对于像语音识别这样的序列转换任务，强结构化的先验模型编码了关于目标空间的丰富信息，通过分配低概率来隐含地排除无效序列。在这项工作中，我们提出了本地先验匹配（LPM），一个半监督的目标，从一个强先验（例如语言模型）提取知识，提供学习信号的判别模型训练的未标记的语音。我们证明，LPM理论上是动机良好，易于实现，并优于现有的知识蒸馏技术在可比的设置。从100小时的标记语音训练的基线开始，再加上360小时的未标记数据，LPM在干净和嘈杂的测试集上恢复了54%和73%的单词错误率出错率，相对于相同数据上的完全监督模型。
2020-02-24 cs.CL cs.LG eess.AS
Front-End Adapter: Adapting Front-End Input of Speech based Self-Supervised Learning for Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
近年来，自监督学习（SSL）在包括语音处理在内的各个领域蓬勃发展。基于语音的SSL模型在一系列与语音相关的任务中表现出良好的性能。然而，SSL模型的训练在计算上是昂贵的，并且常见的做法是在特定任务上微调已发布的SSL模型。在预训练和微调期间使用一致的前端输入至关重要。当最佳前端与预训练中使用的前端不相同时，这种一致性可能会引入潜在的问题。在本文中，我们提出了一个简单但有效的前端适配器来解决这个前端的差异。通过最小化不同前端的输出之间的距离，滤波器组特征（Fbank）可以与用波形预训练的SSL模型兼容。实验结果表明，我们提出的前端适配器上的几个流行的SSL模型的语音识别任务的有效性。
2023-02-18 cs.CL cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Characterizing the adversarial vulnerability of speech self-supervised learning
Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；The Chinese University of Hong Kong（香港中文大学）
一个名为Speech processing Universal Permeable Benchmark（SUPERB）的排行榜，其目的是以最小的架构修改和少量的数据来对跨各种下游语音任务的共享自监督学习（SSL）语音模型的性能进行基准测试，推动了语音表示学习的研究。SUPERB演示了语音SSL上游模型通过最小的调整提高了各种下游任务的性能。随着自监督学习的上游模型和下游任务的研究受到越来越多的关注，表征这种模型的对抗鲁棒性具有重要意义。在本文中，我们第一次尝试研究这种模式下的攻击脆弱性的零知识的对手和有限知识的对手。实验结果表明，SUPERB提出的攻击范式对有限知识攻击者具有严重的脆弱性，零知识攻击者产生的攻击具有可转移性。XAB测试验证了精心制作的对抗攻击的不可感知性。
2022-03-29 cs.LG cs.SD eess.AS
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University（延世大学）
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题，提出采用特征归一化技术衔接模块，结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）
最近，自监督学习（SSL）在说话人识别中表现出了很强的性能，即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验，研究了自监督学习在说话人相关任务（如说话人确认）中的成功因素。我们在Voxceleb-1数据集上的实证结果表明，SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合，而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Self-Supervised Learning for Speech Enhancement through Synthesis
Bose Corporation（博士公司）；Georgia Institute of Technology（佐治亚理工学院）
现代语音增强（SE）网络通常通过时频掩蔽、潜在表示掩蔽或区分信号预测来实现噪声抑制。相比之下，最近的一些作品通过生成语音合成探索SE，其中系统的输出在固有的有损特征去噪步骤之后由神经声码器合成。在本文中，我们提出了一种去噪声码器（DeVo）的方法，其中声码器接受嘈杂的表示，并学习直接合成干净的语音。我们利用自监督学习（SSL）语音模型的丰富表示来发现相关特征。我们在15个潜在的SSL前端进行候选搜索，随后训练我们的声码器对抗最好的SSL配置。此外，我们展示了一个因果版本，能够在流媒体音频上运行，延迟10毫秒，性能下降最小。最后，我们进行了客观评估和主观听力研究，以表明我们的系统提高了客观指标，主观上优于现有的最先进的SE模型。
2022-11-04 cs.CL cs.LG cs.SD
Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Edinburgh, Informatics（爱丁堡大学信息学院）
本文从互信息视角重新审视自监督语音表征学习，提出基于线性探针的监督与无监督度量方法，用于评估表征对目标信息的可获取性，并验证其与下游任务表现的一致性。
2024-01-16 cs.CL cs.SD eess.AS
LASER: Learning by Aligning Self-supervised Representations of Speech for Improving Content-related Tasks
The University of Sheffield（谢菲尔德大学）
本文提出LASER自监督微调方法，利用带时间正则化的soft-DTW对齐损失优化语音表示，并以低成本显著提升HuBERT与WavLM在ASR和PR任务上的性能。
2024-06-13 cs.CL cs.SD eess.AS
Self-Supervised Speech Representation Learning: A Review
Meta；National Taiwan University（国立台湾大学）；Corti AI（Corti人工智能公司）；University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；AWS AI Labs, Amazon（亚马逊AWS人工智能实验室）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
尽管监督式深度学习已经彻底改变了语音和音频处理，但它需要为单个任务和应用场景构建专业模型。同样，很难将其应用于只有有限标记数据可用的方言和语言。自我监督的表示学习方法承诺一个单一的通用模型，将有利于各种各样的任务和领域。这些方法在自然语言处理和计算机视觉领域取得了成功，实现了新的性能水平，同时减少了许多下游场景所需的标签数量。语音表示学习在三个主要类别中经历了类似的进展：生成，对比和预测方法。其他方法依赖于多模态数据进行预训练，将文本或视觉数据流与语音混合。尽管自监督语音表示仍然是一个新兴的研究领域，但它与声学词嵌入和零词汇资源学习密切相关，这两个领域已经有多年的研究。本文介绍了自监督语音表示学习的方法及其与其他研究领域的联系。由于目前的许多方法只专注于自动语音识别作为一个下游任务，我们回顾了最近的努力基准学习表示扩展应用程序超越语音识别。
2022-10-27 cs.CL cs.SD eess.AS
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC（谷歌有限责任公司）
流传输端到端语音识别模型已经广泛应用于移动设备，并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是，服务器数据分布可能与用户设备上的数据分布非常不同，这可能会影响模型性能。在设备上训练有两个主要挑战，有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配，但由于内存限制，它们不直接适用于移动设备。在本文中，我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上，其中只有一层更新的时间。大量的实验结果表明，该算法获得了一个字的出错率（WER）在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University（国立台湾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出PW-HuBERT框架，利用视觉基础语音模型生成伪词级目标，无需语音-文本配对数据，在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Efficient Personalized Speech Enhancement through Self-Supervised Learning
这项工作提出了用于开发单声道扬声器特定（即，个性化）语音增强模型。虽然通才模型必须广泛地解决许多扬声器，但专家模型可以针对特定扬声器的声音调整其增强功能，期望解决更窄的问题。因此，专家能够实现更优化的性能，除了降低计算复杂性。然而，朴素的个性化方法可能需要来自目标用户的干净语音，这不便于获取，例如，由于低于标准的记录条件。为此，我们将个性化设置为zero-shot任务，其中没有额外的目标说话者的干净语音用于训练，或Few-Shot学习任务，其中的目标是最小化用于迁移学习的干净语音的持续时间。在本文中，我们提出了自监督学习方法作为零和Few-Shot个性化任务的解决方案。所提出的方法被设计为从未标记的数据（即，来自目标用户的野外噪声记录）而不知道相应的干净源。我们的实验研究了三种不同的自监督学习机制。实验结果表明，自监督模型能够利用较少的模型参数和来自目标用户的干净数据实现zero-shot和Few-Shot个性化，达到了数据效率和模型压缩的目的。
2022-07-27 cs.LG cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI（亚马逊Alexa人工智能部门）；Google Research（谷歌研究院）
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行，并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性，如语言内容，说话者身份和节奏。在这项工作中，我们引入了一个自我监督的方法来解开房间声学语音，并使用设备仲裁的下游任务的声学表示。我们的结果表明，当标记的训练数据稀缺时，我们提出的方法比基线显着提高了性能，这表明我们的预训练方案学会了对房间声学信息进行编码，同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart（斯图加特大学）
我们提出了一种新的方法，结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此，这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中，我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示，从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge（非英语）上的实验结果显示，字符出错率比基线降低了8~8.5%，在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing
Microsoft（微软）
自监督学习（SSL）在语音识别中取得了巨大的成功，而在其他语音处理任务中的探索却很有限。由于语音信号包含多方面的信息，包括说话人身份、语言、口语内容等，学习所有语音任务的通用表示是具有挑战性的。为了解决这个问题，我们提出了一个新的预训练模型WavLM，来解决全栈下游语音任务。WavLM在预训练中联合学习掩蔽语音预测和去噪。通过这种方式，WavLM不仅通过掩蔽语音预测保持了语音内容建模能力，而且通过语音去噪提高了非ASR任务的潜力。此外，WavLM采用门控相对位置偏置的Transformer结构，以更好地捕捉输入语音的序列排序。我们还将训练数据集从60k小时扩展到94k小时。WavLM Large在SUPERB基准测试中实现了最先进的性能，并在其代表性基准测试中为各种语音处理任务带来了显着改进。代码和预训练模型可在https://aka.ms/wavlm上获得。
2022-06-17 cs.CL cs.SD eess.AS
Using heterogeneity in semi-supervised transcription hypotheses to improve code-switched speech recognition
Raytheon BBN Technologies（雷神BBN科技公司）
码转换语音的建模是自动语音识别（ASR）中的一个重要问题。标记的码转换数据是罕见的，所以单语数据通常被用来建模码转换语音。这些单语数据可能更接近于代码转换对中的语言之一。我们发现，这种不对称性会使预测偏向更匹配的语言，并降低整体模型性能。为了解决这个问题，我们提出了一个半监督的方法代码切换ASR。我们考虑的情况下，英语-汉语码转换，和使用单语数据建立双语“转录模型”的注释的无标记的代码转换数据的问题。我们首先建立多个转录模型，使他们的个人预测不同程度地偏向于英语或普通话。然后，我们结合这些有偏见的transmittance使用基于信心的选择。这种策略为半监督训练生成了更好的成绩单，与依赖于仅使用最佳匹配单语数据构建的转录模型的半监督系统相比，获得了19%的相对改进。
2021-06-14 cs.CL cs.SD eess.AS
General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个自监督学习框架，命名为MGF，通用语音表示学习。在MGF的设计中，考虑了语音的层次性。具体来说，我们建议使用生成学习方法在小时间尺度上捕获细粒度信息，并使用判别学习方法在大时间尺度上提取粗粒度或语义信息。对于音素级学习，我们借用了掩蔽语言模型的思想，但通过用对比损失代替分类损失来为连续语音信号定制它。我们证实了我们的设计，通过评估MGF表示在各种下游任务，包括音素分类，说话人分类，语音识别，和情感分类。实验表明，在不同的时间尺度上进行训练需要不同的训练目标和损失函数，这在总体上是相辅相成的，从而导致更好的性能。
2021-02-03 cs.LG cs.SD eess.AS
Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement
这项工作探讨了如何自我监督学习可以普遍用于发现扬声器的特定功能，使个性化的语音增强模型。我们专门解决了Few-Shot学习场景，其中对测试时间扬声器的清洁录音的访问限于几秒钟，但扬声器的嘈杂录音是丰富的。我们开发了一个简单的对比学习过程，将丰富的噪声数据作为临时的训练目标，通过成对的噪声注入：该模型进行预训练，以最大限度地提高对不同变形的相同的话语之间的协议，并尽量减少对类似变形的不相同的话语之间的协议。我们的实验比较了所提出的预训练方法与两个基线替代方案：说话者不可知的全监督预训练，和说话者特定的自我监督预训练没有对比损失条款。在所有三种方法中，使用对比混合物的方法被发现对模型压缩（使用少85%的参数）和减少干净语音（仅需要3秒）是最鲁棒的。
2022-08-09 cs.LG cs.SD eess.AS
Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification
Indiana University（印第安纳大学）
训练个性化的语音增强模型本质上是一个无镜头学习问题，由于隐私的限制和有限的访问从目标用户的无噪声语音。如果测试时用户有大量未标记的嘈杂语音，则可以使用自监督学习来训练个性化的语音增强模型。模型个性化的一种直接方法是使用目标说话者的嘈杂录音作为伪源。然后，伪去噪模型学习去除注入的训练噪声并恢复伪源。然而，这种方法是不稳定的，因为它取决于伪源的质量，这可能是太嘈杂。作为补救措施，我们提出了一个改进的自我监督的方法，通过数据净化。我们首先训练一个SNR预测器模型来估计伪源的逐帧SNR。然后，预测器的估计被转换成权重，该权重调整伪源对训练个性化模型的逐帧贡献。我们的经验表明，建议的数据净化步骤提高了可用性的扬声器特定的噪声数据的背景下，个性化的语音增强。在不依赖任何干净的语音记录或说话者嵌入的情况下，我们的方法可以被视为隐私保护。
2021-04-05 cs.LG cs.SD eess.AS
Injecting Text in Self-Supervised Speech Pretraining
Google, Inc.（谷歌公司）
自动语音识别（ASR）的自我监督预训练已经显示出不同程度的成功。在本文中，我们建议在预训练期间从两种不同的形式（语音和文本）联合学习表示。所提出的方法，tts 4pretrain补充了对比学习的力量，在自我监督与语言/词汇表示来自合成语音，有效地学习从未转录的语音和未说出的文本。语音编码器中的词汇学习是通过一个附加的序列损失项来实现的，该序列损失项与预训练期间的对比损失相结合。我们证明，这种新的预训练方法产生的字出错率（WER）减少10%相对于良好的基准，Librispeech任务在一个国家的最先进的基线预训练wav2vec2.0。所提出的方法也可以作为一种有效的策略，以弥补缺乏转录的语音，有效地匹配性能的5000小时的转录语音只有100小时的转录语音的AMI会议转录任务。最后，我们展示了WER减少高达15%的内部语音搜索任务比传统的预训练。将文本转换为编码器预训练是对使用更大或域内语言模型重新评分的补充，从而使WER相对减少6%。
2021-08-27 cs.CL cs.SD eess.AS
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research（京东人工智能研究院）
端到端自动语音识别（ASR）模型通常被训练为优化整个令牌序列的丢失，而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题，我们提出了一个新的框架，基于监督对比学习（SCaLa），以增强音素表征学习的端到端ASR系统。具体来说，我们将自监督的掩蔽对比预测编码（MCPC）扩展到完全监督的设置，其中监督以以下方式应用。首先，SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签，以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明，我们提出的方法实现了2.8和1.4点字符错误率（CER）的绝对减少相比，基线，分别。
2022-06-20 cs.LG cs.SD eess.AS
FitHuBERT: Going Thinner and Deeper for Knowledge Distillation of Speech Self-Supervised Learning
KAIST（韩国科学技术院）
大规模语音自监督学习（SSL）已经成为语音处理的主流领域，然而其庞大的规模所带来的计算代价问题使得学术界的进入门槛很高。此外，语音SSL模型的现有蒸馏技术通过减少层来压缩模型，这导致语言模式识别任务（例如音素识别（PR））的性能下降。在本文中，我们提出了FitHuBERT，这使得更薄的尺寸在几乎所有的模型组件和更深的层相比，以前的语音SSL蒸馏工程。此外，我们采用了一个时间减少层，以加快推理时间，并提出了一种基于提示的蒸馏方法，以减少性能下降。与HuBERT相比，我们的方法将模型的大小减少到23.8%，推理时间减少到35.9%。此外，我们实现了12.1%的单词错误率和13.3%的音素错误率的SUPERB基准，这是优于以前的工作。
2022-07-01 cs.CL cs.LG eess.AS
