Efficiency-oriented approaches for self-supervised speech representation learning
Orange（Orange（法国电信））
针对自监督语音表示学习现有方法计算成本高的问题，梳理了该领域的发展现状、现有效率优化方向，指出仍需更多工作解决高计算成本问题。
2023-12-18 cs.CL
A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models
Aalto University（阿尔托大学）
提出母语参考坐标几何方法，利用自监督语音模型将L2发音偏差转化为可解释指标，无需平行录音或发音标签，实验显示与口语熟练度负相关最高达-0.5。
2026-10-30 cs.CL
Self-supervised speech unit discovery from articulatory and acoustic features using VQ-VAE
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）
通常假设人类感知系统在处理听觉语音输入时会招募运动知识。使用发音建模和深度学习，这项研究探讨了如何在自我监督的环境中使用这种发音信息来发现语音单元。我们使用矢量量化的变分自编码器（VQ-VAE）从发音和声学语音数据中学习离散表示。与零资源范式，ABX测试，然后被用来调查如何提取的表征编码语音相关的属性。实验在三个不同的英语和法语语料库上进行。我们发现，发音的信息，而组织的潜在表示的发音的地方，而语音声学主要结构的潜在空间的发音方式。我们发现，这两种方式的最佳融合可以导致这些语音维度的联合表示比单独考虑每个模态更准确。由于发音信息通常是不可用的，在实际情况下，我们最后调查的好处，它提供了一个自我监督的方式从语音声学推断时。
2022-06-17 cs.CL
Probing in the Wild: A Case Study of Self-Supervised Speech Representations on Mandarin Sub-dialects with Unsupervised Articulatory Analysis
blind Anonymous to ISCSLP 1 Fudan University, China 2 Logos \& Dialogos, US
本文通过无标注发音探测管道，研究自监督语音模型在普通话次方言中发音特征表示的结构性差异，发现唇音性和刺耳性等声学显著特征较稳定，而精细频谱特征因方言而异，且北京话可解码性更高。
2026-06-25 cs.CL
Self-supervised models of audio effectively explain human cortical responses to speech
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
自我监督的语言模型在预测语言理解过程中的高级皮层反应方面非常有效。然而，目前人类大脑中较低层次听觉处理的最佳模型依赖于手工构建的声学滤波器或来自监督音频神经网络的表示。在这项工作中，我们利用自我监督的语音表示学习（SSL）的进展，创造新的国家的最先进的人类听觉系统的模型。与声学基线、音素特征和监督模型相比，自监督模型（APC、wav2vec、wav2vec 2.0和HuBERT）的中间层表示始终对听觉皮层（AC）内的fMRI记录产生最佳预测性能。参与低级别听觉处理的大脑区域表现出对早期SSL模型层的偏好，而更高级别的语义区域更喜欢后期层。我们表明，这些趋势是由于模型的能力，编码信息在多个语言水平（声学，语音和词汇）沿其表示深度。总的来说，这些结果表明，自监督模型有效地捕获了与人类皮层中语音处理不同阶段相关的信息层次。
2022-05-27 cs.CL
Large-Scale Self- and Semi-Supervised Learning for Speech Translation
Facebook AI
在本文中，我们提高语音翻译（ST），通过有效地利用大量的未标记的语音和文本数据在不同的和互补的方式。我们通过使用大型Libri-Light语音音频语料库和CommonCrawl语言建模来探索预训练和自我训练。我们的实验通过结合wav 2 vec 2.0预训练的简单配方，将所有四个考虑的CoVoST 2语言对平均提高了2.6 BLEU，自训练和解码的单次迭代与语言模型相结合。与现有的工作不同，我们的方法不利用ST数据以外的任何其他监督。代码和模型将公开发布。
2021-04-14 cs.CL
Sustainable self-supervised learning for speech representations
Orange（Orange公司）
针对语音自监督模型高能耗问题，提出结合神经层与训练优化的可持续模型，在单GPU上不到一天完成预训练，降低内存与计算成本并改善下游错误率。
2024-06-11 cs.CL
DiffNorm: Self-Supervised Normalization for Non-autoregressive Speech-to-speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出DiffNorm，一种基于扩散的自监督归一化策略，通过去噪损坏语音特征简化数据分布，并结合无分类器引导正则化非自回归Transformer，在CVSS基准上显著提升语音到语音翻译质量与推理速度。
2024-10-21 cs.CL
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University（台湾大学）
语码转换在日常会话中很常见，在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此，本文使用最近成功的自监督学习（SSL）方法，利用许多未标记的语音数据没有CS。我们发现，隐藏表示的SSL模型提供帧级的语言身份，即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外，使用多语种的语音数据进行预训练，获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
Using Optimal Ratio Mask as Training Target for Supervised Speech Separation
Inner Mongolia University（内蒙古大学）
监督语音分离使用监督学习算法来学习从输入噪声信号到输出目标的映射。随着深度学习的快速发展，有监督语音分离已成为近年来语音分离领域的重要研究方向。对于有监督算法，训练目标对算法性能有重要影响。理想比率模板是一种常用的训练目标，它可以提高语音可懂度和分离语音的质量。然而，它没有考虑噪声和干净语音之间的相关性。在本文中，我们使用最佳比率掩模作为训练目标的深度神经网络（DNN）的语音分离。实验在各种噪声环境和信噪比条件下进行。实验结果表明，最优比例掩模总体上优于其他训练目标。
2017-09-04 cs.CL cs.SD
VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation
Facebook AI（脸书人工智能研究院）
我们介绍VoxPopuli，一个大规模的多语种语料库，提供10万小时的未标记的语音数据在23种语言。它是迄今为止无监督表示学习和半监督学习最大的开放数据。VoxPopuli还包含1.8K小时的16种语言的转录演讲，以及他们对齐的口头翻译成其他5种语言，总计5.1K小时。我们提供语音识别基线，并验证VoxPopuli未标记数据在具有挑战性的域外设置下的半监督学习中的多功能性。我们将在开放许可下在https://github.com/facebookresearch/voxpopuli上发布语料库。
2021-07-27 cs.CL eess.AS
Supervised Speech Separation Based on Deep Learning: An Overview
The Ohio State University（俄亥俄州立大学）；Northwestern Polytechnical University（西北工业大学）；Baidu Research（百度研究院）
语音分离是将目标语音从背景干扰中分离出来的任务。传统上，语音分离是作为信号处理问题来研究的。最近的方法将语音分离公式化为监督学习问题，其中从训练数据学习语音、说话者和背景噪声的判别模式。在过去的十年中，许多监督分离算法被提出。特别是，最近将深度学习引入到监督语音分离中，大大加快了进展并提高了分离性能。本文综述了近几年来基于深度学习的有监督语音分离的研究进展。首先介绍了语音分离的背景和监督分离的概念。然后，我们讨论了监督分离的三个主要组成部分：学习机，训练目标和声学特征。大部分概述是关于分离算法的，我们回顾了单声道方法，包括语音增强（语音-非语音分离），扬声器分离（多说话者分离）和语音去混响，以及多麦克风技术。推广的重要问题，独特的监督学习，进行了讨论。这一概述提供了一个历史的角度来看，如何取得进展。此外，我们还讨论了一些概念问题，包括什么构成目标源。
2018-06-15 cs.CL cs.LG cs.NE
vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations
Facebook AI Research（脸书人工智能研究院）；University of Tübingen（图宾根大学）
我们提出了vq-wav 2 vec，通过wav 2 vec风格的自监督上下文预测任务来学习音频片段的离散表示。该算法使用gumbel softmax或在线k-means聚类来消除密集表示。离散化使得来自NLP社区的算法能够直接应用，这些算法需要离散输入。实验表明，BERT预训练在TIMIT音素分类和WSJ语音识别上达到了新的水平。
2020-02-16 cs.CL cs.LG
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）
本文提出了一种端到端（E2 E）的自动语音识别（ASR）模型，该模型以鲁棒的语音识别为目标，称为增强语音输入的集成语音识别自监督学习表示（IRIS）。与传统的E2 E ASR模型相比，该模型集成了语音增强（SE）和自监督学习表示（SSLR）两个重要模块。SE模块增强带噪语音。然后，SSLR模块从增强的语音中提取用于语音识别（ASR）的特征。为了对模型进行训练，我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明，IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能（实际开发为2.0%，实际测试为3.9%），这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.（谷歌公司）
训练最先进的自动语音识别（ASR）模型通常需要大量的转录语音。在这项工作中，我们证明了一个模态匹配的联合语音和文本模型，可以利用训练一个大规模的多语言ASR模型，没有任何监督（手动转录）的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言，零监督语音，现实世界的设置，以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集，我们定义了覆盖$102$语言的任务，其中转录的语音在这些语言的$52$中可用，并且可以用于提高其余$50$上的端到端ASR质量。首先，我们表明，通过将语音表示与字节级文本表示相结合，并使用语言嵌入，我们可以显着降低字符出错率（CER）的语言没有监督语音从64.8%到30.8%，相对减少53%。其次，使用南亚语言的一个子集，我们表明，Maestro-U可以促进知识转移的语言与监督语音，即使有限制，没有字形重叠。总体而言，Maestro-U相对于Oracle的性能差距缩小了68.5%，并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation
National Taiwan University（台湾大学）
近年来，端到端的多说话人文本转语音（TTS）系统在大量高质量语音及其对应的传输可用的情况下获得了成功。然而，费力的配对数据收集过程阻止了许多机构构建具有良好性能的多扬声器TTS系统。在这项工作中，我们提出了一个半监督学习方法的多说话人TTS。多说话人TTS模型可以通过所提出的具有离散语音表示的编码器-解码器框架从未转录的音频中学习。实验结果表明，该模型仅用一小时的配对语音数据，无论是多个说话人还是单个说话人的配对语音，都能生成不同语音的可理解语音。我们发现该模型可以受益于所提出的半监督学习方法，即使部分未配对的语音数据是嘈杂的。此外，我们的分析表明，不同的说话人特征的配对数据的半监督TTS的有效性有影响。
2020-08-04 cs.CL cs.SD eess.AS
QS-TTS: Towards Semi-Supervised Text-to-Speech Synthesis via Vector-Quantized Self-Supervised Speech Representation Learning
Chinese University of Hong Kong（香港中文大学）；Xiaohongshu（小红书）
QS-TTS通过向量量化自监督语音表征学习，利用无标签音频降低监督数据需求，提升半监督TTS质量，在低资源场景下取得最优性能。
2023-08-31 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Stabilizing Label Assignment for Speech Separation by Self-supervised Pre-training
National Taiwan University（国立台湾大学）；University of Edinburgh（爱丁堡大学）
语音分离已经得到了很好的发展，非常成功的排列不变训练（PIT）的方法，虽然频繁的标签分配切换发生在PIT训练过程中仍然是一个问题，当需要更好的收敛速度和可实现的性能。在本文中，我们建议进行自我监督的预训练，以稳定训练语音分离模型中的标签分配。在几种自监督方法、几种典型的语音分离模型和两个不同的数据集上的实验表明，如果选择适当的自监督方法，可以取得很好的效果。
2021-08-22 cs.CL cs.SD eess.AS
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型，例如wav 2 vec 2.0和HuBERT，已经对自动语音识别（ASR）的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显，当使用可用的标记数据进行微调时。然而，微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中，我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练（CoPT）。CoPT比半监督训练（SST）更有效，半监督训练是在ASR中利用未标记数据的标准方法，因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率（WERs）的结果，等于或略优于使用SST。此外，我们表明，使用CoPT模型的伪标签，并使用这些标签在SST中，结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
VoiceTextBlender: Augmenting Large Language Models with Speech Capabilities via Single-Stage Joint Speech-Text Supervised Fine-Tuning
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
本文提出VoiceTextBlender，通过单阶段联合语音-文本监督微调与LoRA技术，在3B参数规模下实现优于7B/13B模型的语音能力，同时避免灾难性遗忘并支持多轮混合模态任务。
2025-02-07 cs.CL eess.AS
Pretrained self-supervised speech models can recognize unseen consonants
University of Notre Dame（圣母大学）；University at Buffalo（纽约州立大学布法罗分校）；Tokyo University of Foreign Studies（东京外国语大学）；Reitaku University（丽泽大学）；Boston College（波士顿学院）
研究预训练自监督语音模型（Wav2Vec2、HuBERT）对Khoisan语言中罕见吸气辅音的识别能力，发现模型对吸气辅音的识别准确率高于非吸气辅音，表明自监督学习能泛化到稀有音素。
2026-10-09 cs.AI cs.CL
Speech Representation Learning Through Self-supervised Pretraining And Multi-task Finetuning
语音表征学习在语音处理中起着至关重要的作用。其中，自监督学习（SSL）已经成为一个重要的研究方向。事实证明，SSL预训练模型可以在语音处理的各种下游任务中实现出色的性能。另一方面，监督多任务学习（MTL）是另一种表示学习范式，已被证明在计算机视觉（CV）和自然语言处理（NLP）中有效。然而，在语音处理中，还没有系统的研究，一般表示学习模型的监督MTL训练。在本文中，我们证明了MTL微调可以进一步改善SSL预训练。我们分析了有监督的MTL微调的可推广性，以检查通过MTL微调学习的语音表示是否可以推广到看不见的新任务。
2021-10-18 cs.AI cs.CL cs.LG
Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations
University of New South Wales（新南威尔士大学）
儿童语音识别是一个至关重要的领域，但在构建包容性语音技术时却被大大忽视。阻碍这一领域取得进展的主要挑战是缺乏足够的儿童语音语料库;然而，自监督学习的最新进展为克服这一数据稀缺问题创造了新的机会。在本文中，我们利用自我监督的成人语音表示，并使用三个著名的儿童语音语料库，建立儿童语音识别模型。我们评估了本地和非本地儿童的语音微调的性能，检查跨域儿童语料库的效果，并调查微调模型所需的最小儿童语音量，该模型优于最先进的成人模型。我们还分析了不同年龄儿童的语音识别表现。我们的研究结果表明，微调与跨领域的儿童语料库导致高达46.08%和45.53%的相对改善母语和非母语的儿童语音分别为14.70%和31.10%的绝对改善。我们还表明，只要5个小时的转录儿童的讲话，它是可能的微调儿童的语音识别系统，表现优于一个国家的最先进的成人模型微调960小时的成人讲话。
2022-11-14 cs.CL cs.SD eess.AS
Self-Supervised Representations Improve End-to-End Speech Translation
Facebook AI（Facebook人工智能）
端到端语音到文本翻译可以提供更简单，更小的系统，但面临着数据稀缺的挑战。预训练方法可以利用未标记的数据，并且已被证明在数据稀缺的情况下是有效的。在这项工作中，我们探讨了自我监督的预训练语音表示是否可以在高资源和低资源环境中有益于语音翻译任务，它们是否可以很好地转移到其他语言，以及它们是否可以有效地与其他有助于改善低资源端到端语音翻译的常用方法相结合，例如使用预训练的高资源语音识别系统。我们证明，自我监督的预训练特征可以持续提高翻译性能，跨语言迁移允许扩展到各种语言，而无需或只需很少的调整。
2020-10-25 cs.CL cs.SD eess.AS
A Cross-Corpus Speech Emotion Recognition Method Based on Supervised Contrastive Learning
Southeast University（东南大学）
针对语音情感识别中大规模公开数据集缺乏、跨分布数据泛化能力有限的问题，提出基于监督对比学习的两阶段微调跨语料库方法，在IEMOCAP和CASIA数据集上取得优于现有最佳结果的无加权准确率。
2024-11-25 cs.CL cs.SD eess.AS
Self-supervised Learning with Random-projection Quantizer for Speech Recognition
Google Research（谷歌研究院）
提出了一种简单有效的自监督学习方法用于语音识别。该方法学习一个模型来预测掩蔽的语音信号，以随机投影量化器生成的离散标签的形式。特别地，量化器用随机初始化的矩阵投影语音输入，并且在随机初始化的码本中进行最近邻查找。在自监督学习期间，矩阵和码本都不更新。由于随机投影量化器没有经过训练，并且与语音识别模型分离，该设计使得该方法灵活，并且与通用语音识别架构兼容。在LibriSpeech上，我们的方法实现了与以前使用非流模型的自监督学习的工作相似的单词错误率，并且提供了比wav 2 vec 2.0和w2 v-BERT更低的单词错误率和延迟。在多语言任务上，该方法也比wav 2 vec 2.0和w2 v-BERT提供了显着的改进。
2022-06-29 cs.CL cs.SD eess.AS
Don't speak too fast: The impact of data bias on self-supervised speech models
National Taiwan University（台湾大学）
自监督语音模型（S3M）已被证明在许多语音下游任务中是成功的，如ASR。然而，预训练数据如何影响S3M的下游行为仍然是一个未探索的问题。在本文中，我们研究了预训练数据如何影响S3M，通过针对不同语音因素（包括性别，内容和韵律）的偏见数据集上的预训练模型，并在SUPERB Benchmark中选择的下游任务上评估这些预训练的S3M。我们的实验表明，S3Ms对性别偏见具有容忍性。此外，我们发现，语音的内容对S3Ms在下游任务中的性能影响不大，但S3Ms确实表现出对较慢的语音速率的偏好。
2022-04-26 cs.CL cs.SD eess.AS
Position-invariant Fine-tuning of Speech Enhancement Models with Self-supervised Speech Representations
本文提出基于自监督语音表示的语音增强模型位置不变微调方法，通过零填充和速度扰动结合软DTW损失，提升嘈杂环境下的下游任务性能。
2026-01-28 cs.CL cs.SD eess.AS
StreamHear: Domain-Adapted Pseudo-Labeling for Semi-Supervised Streaming Speech Recognition
Capital One（第一资本金融公司）
针对流式ASR的领域偏移问题，提出StreamHear半监督方法，通过微调离线教师生成伪标签并结合先验正则化重对齐，在四个数据集上性能优于有监督微调且缩小与离线教师的差距。
2026-08-17 cs.CL eess.AS
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo（东京大学）
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成，并与文本表征对比，发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS
Perceive and predict: self-supervised speech representation based loss functions for speech enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
本研究发现干净与带噪语音的自监督早期特征编码距离与语音质量及可懂度高度相关，将其作为损失函数训练语音增强模型，在PESQ和STOI等客观指标上优于STFT频谱图距离等常见损失函数。
2023-06-26 cs.CL cs.LG cs.SD
Self-supervised Speech Comparison for L2 Phone, Rhythm, and Intonation Scoring
研究探索基于自监督WavLM表示的DTW能否为二语语音评估提供无文本框架，结果显示该方法在语音评分上超人类一致性，在节奏评估上接近人类水平，在语调评估上部分任务表现一般，表明自监督表示是多方面发音评估的有前景基础。
2026-07-16 cs.CL eess.AS
DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding
ASAPP；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出DiscreteSLU，用自监督编码器与k-means生成离散语音单元并适配LLM，提升跨领域口语理解与口语问答的指令遵循能力。
2024-06-13 cs.CL cs.SD eess.AS
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Inclusive ASR for Disfluent Speech: Cascaded Large-Scale Self-Supervised Learning with Targeted Fine-Tuning and Data Augmentation
Michigan State University（密歇根州立大学）；FRIENDS: The National Association of Young People Who Stutter（FRIENDS：全国口吃青年协会）
本文提出先用大规模自监督学习训练标准语音，再在不流利语音数据集上定向微调并引入数据增强，以显著降低口吃语音的词错误率，提升ASR包容性。
2024-10-01 cs.CL eess.AS
L2 proficiency assessment using self-supervised speech representations
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；ALTA Institute, Cambridge University（剑桥大学ALTA研究所）；Enhanced Speech Technology Ltd.（增强语音技术有限公司）
近年来，对自动口语评估系统的需求不断增长。此过程的标准管道是从语音识别系统开始，并获得利用转录和音频的手工制作或基于深度学习的功能。虽然这些方法可以产生高性能系统，但是它们需要可以用于L2说话者的语音识别系统，并且优选地调谐到所部署的特定形式的测试。最近提出了一种基于自监督语音表示的方案，不需要语音识别。这项工作将对这种方法进行的初步分析扩展到大规模水平测试Linguaskill，该测试包括多个部分，每个部分都旨在评估候选人口语水平的不同属性。自我监督，wav2vec 2.0，系统的性能相比，高性能手工制作的评估系统和基于BERT的文本系统，这两个都使用语音transmittance。虽然基于wav2vec 2.0的系统被发现对响应的性质敏感，但它可以被配置为产生与需要语音转录的系统相当的性能，并且在与标准方法适当结合时产生增益。
2022-11-16 cs.CL eess.AS
Self-supervised Rewiring of Pre-trained Speech Encoders: Towards Faster Fine-tuning with Less Labels in Speech Processing
Monash University（莫纳什大学）
预先训练的语音Transformers在各种语音处理任务中取得了巨大成功。然而，为下游任务微调这些编码器需要足够大的训练数据来收敛或实现最新技术水平。在文本域中，这部分归因于预训练的Transformers中的表示空间的次优性。在这项工作中，我们对预先训练的语音编码器进行了冷静的研究，并重新构建了它们的表示空间，而不需要任何特定于任务的标签。我们的方法利用中性合成版本的音频输入以及帧掩蔽来构建对比自监督学习的正对。当用于增强wav2vec 2编码器时，我们观察到表示空间中的各向同性的一致改进。我们的实验6语音处理任务，表现出显着的收敛加速任务微调以及一致的任务改进，特别是在低资源设置。
2022-10-24 cs.CL cs.SD eess.AS
emg2speech: Synthesizing speech from electromyography using self-supervised speech models
University of California, Davis（加州大学戴维斯分校）
本文提出一种神经肌肉语音接口，将语音发声时记录的肌电信号直接转化为音频。研究发现自监督语音模型能有效编码发声机制，通过线性映射将EMG功率与S3表示相关联，从而实现端到端的肌电信号到语音合成。
2026-04-20 cs.CL cs.SD eess.AS
Fast Development of ASR in African Languages using Self Supervised Speech Representation Learning
African Masters of Machine Intelligence（非洲机器学习硕士项目）；Naver Labs, Europe（欧洲 Naver 实验室）
本文描述了2020年6月非洲机器智能硕士（AMMI）期间启动的非正式合作的结果。在一系列关于使用移动应用程序收集语音数据和从语音中进行自我监督表示学习的讲座和实验之后，一小群学生和讲师继续研究三种语言的自动语音识别（ASR）项目：沃洛夫语，Ga和索马里语。本文介绍了如何收集数据和ASR系统开发与少量（1小时）的转录语音作为训练数据。在这些低资源条件下，在大量原始语音上预训练模型对于所开发的ASR系统的效率至关重要。
2021-03-16 cs.CL cs.SD eess.AS
Ensemble knowledge distillation of self-supervised speech models
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
近年来，蒸馏自监督模型显示出具有竞争力的性能和效率。然而，在联合提取多个自监督语音模型方面缺乏经验。在我们的工作中，我们对各种自监督语音模型（如HuBERT，RobustHuBERT和WavLM）进行了Ensemble Knowledge Distillation（EKD）。我们尝试了两种不同的聚合技术，分层平均和分层连接，不同的教师模型的表示，发现前者是更有效的。在此基础上，我们提出了一种学生模型的多预测头方法，可以同时预测多个教师模型的不同层输出。实验结果表明，该方法在SUPERB测试的隐藏集跟踪下，提高了提取模型在音素识别、说话人识别、情感识别和自动语音识别四个下游语音处理任务上的性能。
2023-02-24 cs.CL cs.SD eess.AS
token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
自监督预训练在文本和语音处理方面都取得了成功。语音和文本提供不同但互补的信息。问题是我们是否能够对未配对的语音和文本进行语音-文本联合预训练。在本文中，我们将自监督预训练的思想更进一步，并提出了token 2 vec，这是一种基于语音离散表示的非成对语音和文本的新型联合预训练框架。首先，由于语音和文本模态之间的不同特征，其中语音是连续的，而文本是离散的，我们首先将语音离散成一系列离散的语音令牌来解决模态失配问题。其次，为了解决语音序列通常比文本序列长得多的长度不匹配问题，我们将文本中的单词转换为音素序列，并随机重复序列中的每个音素。最后，我们将离散的语音和文本令牌馈送到与模态无关的Transformer编码器中，并使用令牌级掩蔽语言建模（tMLM）进行预训练。实验表明，token 2 vec显着优于各种仅语音预训练基线，相对WER降低高达17.7%。Token 2 vec模型也在非ASR任务上进行验证，即，口语意图分类，并表现出良好的可移植性。
2022-10-30 cs.CL cs.SD eess.AS
Teacher-Student MixIT for Unsupervised and Semi-supervised Speech Separation
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们介绍了一种新的半监督学习框架的端到端的语音分离。该方法首先使用未分离源的混合物和混合不变训练（MixIT）准则来训练教师模型。然后，教师模型估计分离的源，这些源用于通过标准排列不变训练（PIT）来训练学生模型。学生模型可以用监督数据进行微调，即，配对的人工混合物和干净的语音源，并通过模型蒸馏进一步改进。单通道和多通道混合的实验表明，师生培训解决了在原始MixIT方法中观察到的过度分离问题。此外，半监督的性能与使用十倍的监督数据量训练的全监督分离系统相当。
2021-09-09 cs.CL cs.SD eess.AS
Investigating self-supervised, weakly supervised and fully supervised training approaches for multi-domain automatic speech recognition: a study on Bangladeshi Bangla
Shahjalal University of Science and Technology（沙贾拉尔科技大学）；University of Malta（马耳他大学）；Leading University（领先大学）
本研究通过BanSpeech基准（6.52小时、13领域）评估自监督wav2vec 2.0、弱监督Whisper和全监督CNN，发现自监督跨语言预训练最优，且模型对自发语音领域识别困难。
2023-05-11 cs.CL cs.SD eess.AS
Codec2Vec: Self-Supervised Speech Representation Learning Using Neural Speech Codecs
Department of Computer Science University of Texas at Austin Texas, USA（计算机科学系 休斯顿大学 德州 美国）
Codec2Vec通过离散音频编解码单元实现自监督语音表示学习，有效提升存储效率和训练速度，同时在SUPERB基准上表现优异。
2025-11-20 cs.CL eess.AS
MixedG2P-T5: G2P-free Speech Synthesis for Mixed-script texts using Speech Self-Supervised Learning and Language Model
The University of Tokyo（东京大学）
该研究提出MixedG2P-T5无G2P语音合成方法，结合预训练语音SSL模型与T5编码器从混合文本生成伪语言标签，无需人工音素转录，成本低、扩展性好，性能媲美传统G2P系统且能保留口音、语调等特征。
2025-09-01 cs.CL eess.AS
SpeechGLUE: How Well Can Self-Supervised Speech Models Capture Linguistic Knowledge?
NTT Corporation（NTT公司）
本文提出SpeechGLUE基准以评估语音自监督模型捕捉语言学知识的能力，实验表明语音SSL模型虽不及文本模型，但优于基线，能从无标签语音数据中获取一定的通用语言学知识。
2024-08-27 cs.CL cs.SD eess.AS
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA（安蒂奥基亚大学）
最先进的自动语音识别（ASR）系统在健康语音上表现良好。然而，对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难，因为语音的几个方面，如发音、韵律和发声可能受损。具体来说，我们训练一个声学模型，从Wav 2 Vec，Hubert和跨语言XLSR模型中提取的特征。结果表明，在大的未标记的数据上预训练的语音表示可以提高字出错率（WER）的性能。特别是，多语言模型的功能导致WER低于过滤器组（Fbank）或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者（UASpeech语料库）、患有帕金森氏症构音障碍的西班牙语使用者（PC-GITA语料库）和患有基于麻痹的构音障碍的意大利语使用者（EasyCall语料库）中观察到改善。与使用Fbank特征相比，基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
Semi-Supervised Speech Recognition via Local Prior Matching
Massachusetts Institute of Technology（麻省理工学院）；Facebook AI Research（Facebook人工智能研究）
对于像语音识别这样的序列转换任务，强结构化的先验模型编码了关于目标空间的丰富信息，通过分配低概率来隐含地排除无效序列。在这项工作中，我们提出了本地先验匹配（LPM），一个半监督的目标，从一个强先验（例如语言模型）提取知识，提供学习信号的判别模型训练的未标记的语音。我们证明，LPM理论上是动机良好，易于实现，并优于现有的知识蒸馏技术在可比的设置。从100小时的标记语音训练的基线开始，再加上360小时的未标记数据，LPM在干净和嘈杂的测试集上恢复了54%和73%的单词错误率出错率，相对于相同数据上的完全监督模型。
2020-02-24 cs.CL cs.LG eess.AS
Front-End Adapter: Adapting Front-End Input of Speech based Self-Supervised Learning for Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
近年来，自监督学习（SSL）在包括语音处理在内的各个领域蓬勃发展。基于语音的SSL模型在一系列与语音相关的任务中表现出良好的性能。然而，SSL模型的训练在计算上是昂贵的，并且常见的做法是在特定任务上微调已发布的SSL模型。在预训练和微调期间使用一致的前端输入至关重要。当最佳前端与预训练中使用的前端不相同时，这种一致性可能会引入潜在的问题。在本文中，我们提出了一个简单但有效的前端适配器来解决这个前端的差异。通过最小化不同前端的输出之间的距离，滤波器组特征（Fbank）可以与用波形预训练的SSL模型兼容。实验结果表明，我们提出的前端适配器上的几个流行的SSL模型的语音识别任务的有效性。
2023-02-18 cs.CL cs.SD eess.AS
Large vocabulary speech recognition for languages of Africa: multilingual modeling and self-supervised learning
Google Research（谷歌研究院）
在非洲使用的2,000多种语言中，几乎没有一种具有广泛使用的自动语音识别系统，所需的数据也仅适用于少数几种语言。我们已经尝试了两种技术，这可能会提供途径，非洲语言的大词汇语音识别：多语言建模和自监督学习。我们收集了可用的开放源数据，收集了15种语言的数据，并使用这些技术训练了实验模型。我们的研究结果表明，汇集多语言端到端模型中可用的少量数据，并对无监督数据进行预训练，可以帮助提高许多非洲语言的语音识别质量。
2022-10-04 cs.CL cs.SD eess.AS
Noise-robust zero-shot text-to-speech synthesis conditioned on self-supervised speech-representation model with adapters
NTT Corporation（日本电信电话株式会社）
针对零样本TTS在含噪参考语音下质量下降的问题，提出通过在SSL模型中引入适配器并用含噪语音联合微调，同时结合语音增强前端，实现噪声鲁棒的高质量语音合成。
2024-01-10 cs.CL cs.LG cs.SD
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory（上海人工智能实验室）；iFLYTEK Research, iFLYTEK Co. Ltd.（科大讯飞股份有限公司讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展，像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别（ASR）的性能方面取得了成功。然而，与监督学习类似，多语言预训练也可能受到语言干扰，并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术，包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务，包括16种语言。我们的实验结果表明，与标准XLSR模型相比，相对增益为14.3%，与没有预训练的多语言模型相比，相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
