Improving Transformer-based Speech Recognition Using Unsupervised Pre-training
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
语音识别技术在各种工业应用中越来越普及。为了解决语音识别系统需要大量转录数据的问题，提出了一种基于Transformer模型的无监督预训练方法Masked Predictive Coding。在香港科技大学的实验表明，使用相同的训练数据，我们可以实现CER 23.3%，超过最好的端到端模型的绝对CER超过0.2%。有了更多的预训练数据，我们可以进一步将CER降低到21.0%，或者相对于基线降低11.8%。
2019-10-31 cs.CL cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google LLC（谷歌有限责任公司）
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括：（1）捕获每帧信息的局部编码器;（2）捕获每话语信息的全局编码器;以及（3）在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明：（1）局部隐变量对语音内容进行编码，即使采用不同的全局编码，重构语音也能以较低的词出错率（WER）被ASR识别;（2）全局隐变量对说话人风格进行编码，重构语音与全局编码的源话语具有说话人身份。此外，我们展示了一个有用的应用程序，从我们的预训练模型，我们可以训练的说话人识别模型的全球潜在变量，并实现高精度的微调与尽可能少的数据，每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition with N-Skipgram and Positional Unigram Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；KAIST（韩国科学技术院）
针对无监督语音识别训练中GAN不稳定、音文不对齐及内存需求大的问题，提出结合低阶N-skipgram与位置一元语法统计的ESPUM系统，在TIMIT基准上取得有竞争力的ASR和音素分割性能，且代码已开源。
2023-10-03 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition
Facebook AI（脸书人工智能）；Google AI（谷歌人工智能）
尽管在最近的过去取得了快速的进步，但是当前的语音识别系统仍然需要标记的训练数据，这将该技术限制在全球所讲语言的一小部分。本文介绍了wav 2 vec-U，简称wav 2 vec无监督，训练语音识别模型没有任何标记的数据的方法。我们利用自我监督的语音表示来分割未标记的音频，并通过对抗训练来学习从这些表示到音素的映射。正确的表示是我们方法成功的关键。与之前最好的无监督工作相比，wav 2 vec-U将TIMIT基准测试中的音素出错率从26.1降低到11.3。在更大的英语Libripeech基准测试中，wav 2 vec-U在test-other上实现了5.9的单词出错率，与两年前在960小时的标记数据上训练的一些最好的已发布系统相媲美。我们还在其他九种语言上进行了实验，包括吉尔吉斯语、斯瓦希里语和鞑靼语等低资源语言。
2022-05-02 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Evaluating context-invariance in unsupervised speech representations
University of Toronto（多伦多大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性，并证明上下文无关性可预测词级表示稳定性，建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入，这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标，在长达9500小时的抓取英语语音数据上对嵌入进行了训练，而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入，并在说话人比较，话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估，将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
在本文中，我们提出了一个顺序表示量化自动编码器（SeqRQ-AE）学习主要是不成对的音频数据，并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割，使表示音素同步，和适当的语音聚类，有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明，学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中，我们的方法在音素识别方面优于现有方法，并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR
National Taiwan University（台湾大学）
本文提出REBORN，一种通过强化学习交替训练语音边界分割模型和音素预测模型的无监督ASR方法，在多个数据集上超越现有模型。
2024-11-15 cs.CL cs.SD eess.AS
Almost Unsupervised Text to Speech and Automatic Speech Recognition
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft STC Asia（微软亚洲技术中心）
文本到语音（TTS）和自动语音识别（ASR）是语音处理中的两个双重任务，由于深度学习的最新进展和大量对齐的语音和文本数据，它们都取得了令人印象深刻的性能。然而，缺乏对齐的数据对低资源语言的TTS和ASR提出了一个主要的实际问题。在本文中，通过利用这两个任务的双重性质，我们提出了一种几乎无监督的学习方法，该方法只利用了数百个配对数据和额外的未配对数据用于TTS和ASR。该方法包括以下几个部分：（1）一个去噪自动编码器，它分别对语音和文本序列进行重构，以开发语音和文本域的语言建模能力;（2）双重转换，其中TTS模型将文本$y$转换为语音$\hat{x}$，并且ASR模型利用转换后的对$(\hat{x},y)$进行训练，反之亦然，（3）双向序列建模，其解决了在使用少量配对数据进行训练时特别是在长语音和文本序列中的错误传播;（4）统一的模型结构，其基于Transformer模型将TTS和ASR的所有上述组件组合在一起。我们的方法在LJSpeech数据集上实现了99.84%的词级可理解率和2.68 MOS的TTS，以及11.7%的PER的ASR，通过利用仅200对语音和文本数据（约20分钟的音频），以及额外的未配对的语音和文本数据。
2020-07-26 cs.CL cs.SD eess.AS
Speech Corpora Divergence Based Unsupervised Data Selection for ASR
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自动语音识别（ASR）训练过程中，应用场景匹配数据的选取是一个重要环节，但训练语料的匹配程度难以度量。提出了一种基于语音语料库差异度（SCD）的无监督目标感知数据选择方法，该方法可以度量两个语音语料库之间的相似性。我们首先使用自监督Hubert模型将语音语料离散化为标签序列，并计算N-gram概率分布。然后我们计算N元语法之间的Kullback-Leibler散度作为SCD。最后，我们可以选择具有最小SCD的子集到目标语料库进行标注和训练。与以往的数据选择方法相比，SCD数据选择方法可以关注更多的声学细节，并保证所选数据集的多样性。我们评估我们的方法对不同的口音从共同的声音。实验结果表明，提出的SCD数据选择可以实现14.8%的相对改善随机选择，相当于甚至优于监督选择的结果。
2023-02-26 cs.CL cs.SD eess.AS
Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised Speech Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
自监督学习（SSL）已经能够利用未标记的数据来提高自动语音识别（ASR）模型的性能，当我们只能访问少量的转录语音数据时。然而，这提出了一个问题，即应该选择可用的未标记数据的哪个子集进行转录。我们的工作研究了不同的无监督数据选择技术，用于在有限的转录预算下微调HuBERT模型。我们研究了说话人多样性、性别偏见和话题多样性对下游ASR性能的影响。我们还设计了两种新的无监督数据选择技术：基于预训练损失的数据选择和字节对编码聚类单元（PBPE）的困惑，我们展示了这些技术与纯随机数据选择的比较。最后，我们分析了所选微调子集的固有特性之间的相关性，以及这些特性如何与所得的字错误率相关。我们证明了令牌的多样性，扬声器的多样性和主题的多样性，在WER方面实现最佳性能的重要性。
2022-12-03 cs.CL cs.SD eess.AS
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley（加州大学伯克利分校）
人类说话者将信息编码成原始语音，然后由听者解码。编码（产生）和解码（感知）之间的这种复杂关系通常是单独建模的。在这里，我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现，该网络结合了语音的产生和感知原理。据我们所知，我们介绍了无监督词汇学习中最具挑战性的目标：一个网络，必须学习词汇项的唯一表示，没有直接存取训练数据。我们训练了几个模型（ciwGAN和fiwGAN arXiv：2006.02951），并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此，组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息，而无需直接访问真实的训练数据。我们提出了一种技术，探索词汇（整体）和词汇（特征）学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义，因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised pre-training for sequence to sequence speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种新的方法来预训练编码器-解码器序列到序列（seq 2seq）模型分别与不成对的语音和成绩单。我们的预训练方法分为两个阶段，命名为声学预训练和语言预训练。在声学预训练阶段，我们使用大量的语音来预训练编码器，通过预测掩蔽的语音特征块与其上下文。在语言预训练阶段，我们使用单说话人文本到语音（TTS）系统从大量的成绩单生成合成语音，并使用合成的成对数据预训练解码器。这种两阶段的预训练方法将丰富的声学和语言知识集成到seq 2seq模型中，这将有利于下游的自动语音识别（ASR）任务。在AISHELL-2数据集上完成了无监督预训练，并将预训练的模型应用于AISHELL-1和HKUST的多个配对数据比率。在AISHELL-1和HKUST上，相对字符出错率降低率分别从38.24%和12.00%降低到7.88%和1.20%。此外，我们将我们的预训练模型应用于CALLHOME数据集的跨语言案例。对于CALLHOME数据集中的所有六种语言，我们的预训练方法使模型始终优于基线。
2020-01-02 cs.CL cs.SD eess.AS
Combining Unsupervised and Text Augmented Semi-Supervised Learning for Low Resourced Autoregressive Speech Recognition
Raytheon BBN Technologies（雷神BBN技术公司）
无监督表示学习的最新进展已经证明了预训练对大量阅读语音的影响。我们适应这些技术的领域自适应在低资源-无论是在数据和计算-会话和广播领域。超越CTC，我们以无监督的方式预训练最先进的Conformer模型。虽然无监督方法优于传统的半监督训练，但这些技术是互补的。与单独的半监督训练相比，结合这些技术在所有条件下平均WER有5%的绝对改善。通过外部语言模型合并附加文本数据。通过使用基于CTC的解码，我们能够更好地利用额外的文本数据。当用作转录模型时，它允许Conformer模型通过半监督训练而不是浅融合来更好地结合来自语言模型的知识。与浅融合相比，使用基于CTC的解码进行半监督训练时，最终性能绝对值额外提高2%。
2022-02-11 cs.CL cs.SD eess.AS
Completely Unsupervised Speech Recognition By A Generative Adversarial Network Harmonized With Iteratively Refined Hidden Markov Models
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成一个大型注释语音语料库仍然很困难，但是为这些语言收集一个相对较大的未标记数据集是更容易实现的。这就是为什么一些最初的努力已经报道了完全无监督的语音识别学习从未标记的数据，虽然相对较高的出错率。在本文中，我们开发了一个生成对抗网络（GAN）来实现这一目的，其中生成器和鉴别器迭代地相互学习以提高性能。我们进一步使用一组隐马尔可夫模型（HMRM），从机器生成的标签中迭代改进，以与GAN协调工作。在TIMIT数据集上的初步实验实现了33.1%的电话出错率，这比以前的最先进水平低8.5%。
2019-08-23 cs.CL cs.SD eess.AS
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of British Columbia（不列颠哥伦比亚大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Newcastle University（纽卡斯尔大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
直接从语音信号中导出语义表示是一项极具挑战性的任务，但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元，我们提出了WavEmbed，一个多模态顺序自动编码器，预测隐藏单元从密集的语音表示。其次，我们还提出了S-HuBERT通过知识蒸馏来归纳意义，其中句子嵌入模型首先在隐藏单元上进行训练，并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中（0.5~0.6），不依赖于任何标签或透明度。此外，这些模型还可以很容易地扩展，以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘，索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Enhancing Unsupervised Speech Recognition with Diffusion GANs
NVIDIA（英伟达）
我们通过扩散GAN增强了无监督自动语音识别（ASR）的香草对抗训练方法。我们的模型（1）将各种强度的实例噪声注入到生成器的输出和未标记的参考文本中，这些参考文本是从具有长度约束的预训练音素语言模型中采样的，（2）要求扩散时间步长相关的鉴别器将它们分离，以及（3）反向传播梯度以更新生成器。单词/音素出错率比较与wav 2 vec-U在Librispeech（3.1%的测试清洁和5.6%的测试其他），TIMIT和MLS数据集，表明我们的增强策略有效地工作。
2023-03-23 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法，可处理情绪、说话人等多种声学—语义风格变化，并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
A Further Study of Unsupervised Pre-training for Transformer Based Speech Recognition
Didi Chuxing（滴滴出行）
建立一个好的语音识别系统通常需要大量的转录数据，这是昂贵的收集。在这些方法中，Masked Predictive Coding在具有BERT类Masked Reconstruction损失和Transformer骨干的各种语音识别数据集上实现了显著的改进。然而，MPC的许多方面尚未得到充分研究。在本文中，我们对MPC进行了进一步的研究，并集中在三个重要方面：预训练数据说话风格的影响，它对流模型的扩展，以及如何更好地将学习到的知识从预训练阶段转移到下游任务。实验表明，具有匹配说话风格的预训练数据在下游识别任务中更有用。在HKUST上训练的流模型上，APC和MPC的统一训练目标提供了8.46%的相对误差减少。此外，目标数据自适应和逐层判别训练的组合有助于MPC的知识转移，在强基线上，AISHELL的相对误差减少了3.99%。
2020-06-23 cs.CL cs.SD eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
A Theory of Unsupervised Speech Recognition
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Korea Advanced Institute of Science Technology（韩国科学技术院）
针对无监督语音识别缺乏理论框架的问题，本文提出基于随机矩阵理论和神经正切核的通用理论框架，证明了相关可学习性条件与样本复杂度界，并通过合成语言实验提供了实证支持。
2023-06-09 cs.CL cs.LG cs.SD
Sample-Efficient Unsupervised Domain Adaptation of Speech Recognition Systems A case study for Modern Greek
National Technical University of Athens（雅典国家技术大学）；Institute for Speech and Language Processing, Athena Research Center（雅典娜研究中心语音与语言处理研究所）
现代语音识别系统在域移位下表现出快速的性能下降。这个问题在数据稀缺的环境中尤其普遍，例如资源少的语言，其中训练数据的多样性有限。在这项工作中，我们提出了M2 DS 2，这是一种简单且样本高效的微调策略，适用于大型预训练语音模型，基于混合源和目标域自监督。我们发现，包括源域自我监督稳定的训练，并避免模式坍塌的潜在表示。为了进行评估，我们收集HParl，一个$120$小时的语音语料库希腊，在希腊议会全体会议组成。我们将HParl与两个流行的希腊语料库合并，以创建GREC-MD，这是一个用于希腊ASR系统多域评估的测试平台。在我们的实验中，我们发现，虽然其他无监督领域自适应基线在这种资源受限的环境中失败，但M2 DS 2对跨领域自适应产生了显着的改进，即使只有几个小时的域内音频可用。当我们在弱监督设置中放松问题时，我们发现使用M2 DS 2的音频和使用简单LM增强技术的语言的独立适应特别有效，产生与完全监督基线相当的单词出错率。
2022-12-31 cs.CL cs.SD eess.AS
Towards Unsupervised Speech-to-Text Translation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个框架，用于建立语音到文本翻译（ST）系统，只使用单语语音和文本语料库，换句话说，从一个源语言和独立的文本从一个目标语言的语音话语。与传统的级联系统和端到端架构相反，我们的系统不需要任何标记数据（即，训练期间转录的源音频或并行源和目标文本语料库），使其特别适用于双语资源很少甚至为零的语言对。该框架利用从单语语料库中推断出的跨模态双语词典来支持ST系统，该词典将对应于口语单词的每个源语音段映射到其目标文本翻译。对于看不见的源语音话语，系统首先对话语中的每个语音段执行逐字翻译。通过利用语言模型和序列去噪自动编码器来提供关于目标语言的先验知识来改进翻译。实验结果表明，尽管缺乏监督，我们的无监督系统实现了与监督端到端模型相当的BLEU分数。我们还提供消融分析来检查我们系统中每个组件的实用性。
2018-11-04 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Unsupervised Cross-lingual Representation Learning for Speech Recognition
Facebook AI（脸书人工智能）
本文介绍了XLSR，它通过从多种语言的语音原始波形中预训练单个模型来学习跨语言的语音表示。我们建立在wav 2 vec 2.0的基础上，通过在掩蔽的潜在语音表示上解决对比任务来训练wav 2 vec 2.0，并联合学习跨语言共享的潜在语音的量化。由此产生的模型在标记数据上进行了微调，实验表明，跨语言预训练显着优于单语预训练。在CommonVoice基准测试中，XLSR显示与最佳已知结果相比，相对音素出错率降低了72%。在BABEL，我们的方法提高了字出错率16%，相对于可比系统。我们的方法使一个单一的多语言语音识别模型，这是强大的个人模型的竞争力。分析表明，潜在的离散语音表示共享跨语言增加共享相关的语言。我们希望通过发布XLSR-53来促进低资源语音理解的研究，XLSR-53是一个用53种语言预训练的大型模型。
2020-12-15 cs.CL cs.LG cs.SD
Unsupervised Pre-training of Bidirectional Speech Encoders via Masked Reconstruction
Amazon Alexa（亚马逊Alexa）
我们提出了一种通过掩蔽重建损失来预训练语音表示的方法。我们的预训练编码器网络是双向的，因此可以直接用于典型的双向语音识别模型。然后，可以在较少量的监督数据上对预训练的网络进行微调，以用于语音识别。在LibriSpeech和华尔街日报语料库上的实验显示了良好的效果。我们发现，导致语音识别改进的主要因素是：掩蔽段的足够的宽度在时间和频率，预训练的大量未标记的数据比标记的数据，和域自适应时，未标记的和标记的数据来自不同的领域。来自预训练的增益是监督数据增强的增益的相加。
2020-05-05 cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到人类婴儿开始通过少量范例词的声音（或语音结构）学习语言，并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词（信号段）中学习语音结构，而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习，也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中，仅2.1小时的语音数据（其中2500个口语单词被注释，其余未标记）给出了44.6%的单词出错率，并且如果给出4.1小时的语音数据（其中20000个口语单词被注释），则该数字可以降低到34.2%。这些结果并不令人满意，但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing（帕德博恩并行计算中心）
在这项工作中，我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器：内容编码器和风格编码器。为了促进解纠缠，我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据，也不需要任何监督。我们表明，所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示，并显示竞争力的扬声器内容解纠缠性能相比，其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比，频谱特征，当用于电话识别。
2021-03-11 cs.SD eess.AS
Learning Invariant Representation and Risk Minimized for Unsupervised Accent Domain Adaptation
Ping An Technology（平安科技）
语音音频的无监督表示学习在语音识别任务中获得了令人印象深刻的性能，特别是当注释语音有限时。然而，无监督范式需要仔细设计，并且对这些表示获得的属性知之甚少。不能保证模型学习有意义的表示，以获得有价值的信息进行识别。此外，学习到的表示对其他领域的适应能力仍然需要估计。在这项工作中，我们探索通过直接映射语音表示到其相应的高级语言信息来学习域不变表示。实验结果表明，习得的潜伏期不仅捕捉到了每个音素的发音特征，而且增强了适应能力，在重音基准测试中的表现大大优于基线。
2022-10-29 cs.AI cs.CL cs.SD
Towards Unsupervised Automatic Speech Recognition Trained by Unaligned Speech and Text only
National Taiwan University（国立台湾大学）
自动语音识别（ASR）已被广泛研究，但许多低资源语言缺乏音频-文本对齐数据，无法使用监督方法。在这项工作中，我们提出了一个框架，以实现无监督的ASR阅读英语语音数据集，其中音频和文本是不对齐的。在第一阶段中，话语中的每个单词级音频段由序列自动编码器提取的向量表示来表示，其中语音信息和说话者信息被解开。其次，使用skip-gram模型从向量表示训练音频片段的语义嵌入。最后，利用无监督的方法将音频片段的语义嵌入转换到文本嵌入空间，并最终将转换后的嵌入映射到单词。有了上述框架，我们将只使用未对齐的文本和语音训练无监督ASR。
2018-08-11 cs.CL
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法，利用掩码语言模型校正离散语音单元，并通过小型适配器微调预训练模型，从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin（都柏林大学学院）
自动语音识别（ASR）系统在转录来自未知域的音频时，转录质量显著降低。我们提出了一种无监督的错误校正方法，用于无监督的ASR域自适应，旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同，我们的方法只需要目标域的未标记数据，其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合，我们还提出了一个编码器-解码器校正模型，该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明，我们的方法获得了显着的字出错率（WER）降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上，相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
Unsupervised Adaptation with Domain Separation Networks for Robust Speech Recognition
Microsoft AI and Research（微软人工智能与研究部）
语音信号的无监督领域自适应的目的是使训练好的源域声学模型适应来自目标域的未标记数据。这可以通过深度神经网络（DNN）声学模型的对抗训练来实现，以学习既具有senone区分性又具有域不变性的中间深度表示。具体而言，DNN被训练为联合优化senone分类的主要任务和具有对抗性目标函数的域分类的次要任务。在这项工作中，而不是只专注于学习域不变特征（即域之间的共享组件），我们还通过私有组件提取器DNN显式建模每个域的私有组件来表征源和目标域分布之间的差异。私有组件被训练为与共享组件正交，从而隐式地增加共享组件的域不变性的程度。重建器DNN用于从私有和共享分量重建原始语音特征作为正则化。将该域分离框架应用于无监督环境适应任务，并在CHiME-3数据集上进行自动语音识别，从梯度反转层训练（一种代表性的对抗训练方法）实现了11.08%的相对WER降低。
2019-04-30 cs.AI cs.CL cs.SD
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
儿童语音的声学建模是具有挑战性的，因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中，我们提出了一种特征自适应方法，通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone（绑定三音素状态）水平的声学不匹配，并利用大量转录的成人语音。我们验证所提出的方法上的三个任务：儿童语音识别，儿童发音评估，和儿童流畅度分数预测。实证结果表明，我们提出的方法始终优于竞争基线，实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Unsupervised Active Learning: Optimizing Labeling Cost-Effectiveness for Automatic Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
该研究结合自监督学习与主动学习，通过无监督提取不同粒度语音单元并采用对比数据选择框架，有效提升ASR的标注成本效益，实现同标注量下WER降超11%或同WER下标注成本减半。
2023-08-28 cs.SD eess.AS
Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
ASAPP Inc.（ASAPP公司）；Cornell University（康奈尔大学）
本文研究了自动语音识别（ASR）中预训练模型的性能-效率权衡。我们专注于wav 2 vec 2.0，并正式几个架构设计，影响模型的性能和效率。将我们所有的观察结果汇总在一起，我们引入了SEW（Squeezed and Efficient Wav 2 vec），这是一种预训练的模型架构，在各种训练设置中的性能和效率方面都有显着改进。例如，在LibriSpeech上的100 h-960 h半监督设置下，与wav 2 vec 2.0相比，SEW实现了1.9倍的推理加速，单词出错率相对降低了13.5%。在相似的推理时间下，SEW在不同的模型大小上将单词出错率降低了25-50%。
2021-09-14 cs.CL cs.LG cs.SD
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题，研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类，以聚类ID为训练特征，在保护隐私的同时提升了端到端ASR的公平性与鲁棒性，各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是，获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而，从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中，我们提出了一种新的无监督自适应方法，学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示（例如，扬声器和通道）使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语，我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法，我们专注于一个通道失配设置，其中感兴趣的域是遥远的对话语音，标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集，优于所有基线和弥合之间的差距，不使用任何并行数据超过77%，不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University（南洋理工大学）；NVIDIA Research（英伟达研究院）；IBM Research（IBM研究院）；Tsinghua University（清华大学）
提出无监督自适应框架STAR，利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性，通过新颖指标评估伪标签质量，实现平均13.5%的词错误率降低，并防止灾难性遗忘，数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute（Idiap研究机构）
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法，扩展RnV框架，在Torgo语料库上显著降低LF-MMI模型的词错误率，尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL（三菱电机研究实验室）
当训练数据域和测试数据域不匹配时，自动语音识别（ASR）系统的性能通常会显著下降。在本文中，我们表明，自训练（ST）结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST，这是一种基于辍学的不确定性驱动的自我训练技术，它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据，这导致与没有滤波的ST相比大大改善了ASR结果，并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明，高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
wav2vec: Unsupervised Pre-training for Speech Recognition
Facebook AI Research（脸书人工智能研究院）
我们通过学习原始音频的表示来探索用于语音识别的无监督预训练。在大量未标记的音频数据上训练wav2vec，然后使用所得到的表示来改进声学模型训练。我们预训练一个简单的多层卷积神经网络优化通过噪声对比二进制分类任务。我们的实验WSJ减少WER的一个强大的基于字符的对数梅尔滤波器组基线高达36%时，只有几个小时的转录数据可用。我们的方法在nov92测试集上实现了2.43%的WER。这优于Deep Speech 2，这是文献中报道最好的基于字符的系统，同时使用两个数量级的标记训练数据。
2019-09-11 cs.CL
Unsupervised Speech Representation Pooling Using Vector Quantization
Sogang University（西江大学）
针对语音表示长度可变的池化问题，提出一种无需额外训练的基于向量量化的无监督池化方法，通过压缩声学相似表示，在多个下游任务上优于平均池化。
2023-04-08 cs.AI cs.LG cs.SD
An Exploration into the Performance of Unsupervised Cross-Task Speech Representations for "In the Wild'' Edge Applications
Huawei（华为）
本研究评估了HuBERT各版本在边缘设备噪声环境下的鲁棒性，发现大模型虽稳健但不适用，小模型易受噪声影响，表明跨任务语音表示尚需改进。
2023-05-09 cs.SD eess.AS
