Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用，这些模型对各种SLU任务都有合理的改进。然而，由于语音信号和文本标记之间的不匹配模态，以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式，它连接语音和文本预训练模型，从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说，我们建议使用无监督自动语音识别（ASR）作为连接器，连接语音和文本预训练模型中使用的不同模态。我们的实验表明，无监督ASR本身可以改善语音自监督模型的表示。更重要的是，它被证明是语音和文本预训练模型之间的有效连接器，提高了五种不同SLU任务的性能。值得注意的是，在口语问答方面，我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
Analyzing the Robustness of Unsupervised Speech Recognition
无监督语音识别（unsupervised ASR）的目标是仅使用非平行的语音和文本语料来学习ASR系统。Wav 2 vec-U通过自监督语音表示与生成对抗网络（GAN）训练相结合，在无监督ASR中显示出有希望的结果，但无监督ASR框架的鲁棒性是未知的。在这项工作中，我们进一步分析了无监督ASR的训练鲁棒性的领域不匹配的情况下，不成对的语音和文本的领域是不同的。三种域失配场景包括：（1）使用来自不同数据集的语音和文本，（2）利用噪声/自发语音，以及（3）调整语音和文本数据的量。我们还通过计算语音和文本的转录之间的音素n-gram的JS-分歧来量化域不匹配的程度。该指标与性能高度相关。实验结果表明，域失配导致性能下降，但在目标语音域上预训练的自监督模型可以提取更好的表示，以减轻性能下降。
2022-04-26 eess.AS
Speech-XLNet: Unsupervised Acoustic Model Pretraining For Self-Attention Networks
Tencent AI Lab（腾讯AI实验室）
自我注意力网络（SAN）可以通过BERT和XLNet等无监督预训练范式从双向表示学习中显着受益。在本文中，我们提出了一个类似XLNet的预训练方案“Speech-XLNet”，用于无监督声学模型预训练，以使用SAN学习语音表示。预训练的SAN在混合SAN/HMM框架下进行微调。我们推测，通过打乱语音帧的顺序，在Speech-XLNet中的置换作为一个强大的正则化，以鼓励SAN通过关注全局结构，通过其注意力权重进行推理。此外，Speech-XLNet还允许该模型探索有效的语音表示学习的双向上下文。TIMIT和WSJ上的实验表明，Speech-XLNet在收敛速度和识别精度方面都大大提高了SAN/HMM的性能，与随机初始化权重的训练相比。我们最好的系统实现了11.9%和8.3%的TIMIT和华尔街日报的任务分别相对改善。特别地，最好的系统在TIMIT测试集上实现了13.3%的电话出错率（PER），据我们所知，这是从单个系统获得的最低PER。
2020-05-22 cs.CL eess.AS
A comparison of self-supervised speech representations as input features for unsupervised acoustic word embeddings
Stellenbosch University（斯泰伦博斯大学）
许多语音处理任务涉及测量语音段之间的声学相似性。声学词嵌入（AWE）允许通过将任意持续时间的语音段映射到固定维向量来进行有效的比较。对于零资源语音处理，其中未标记的语音是唯一可用的资源，一些最好的AWE方法依赖于自动发现的单词片段形式的弱自上而下的约束。零资源研究的另一个方向是在短时间框架水平上的表示学习，而不是在片段水平上学习嵌入。最近的方法包括自监督预测编码和对应自动编码器（CAE）模型。在本文中，我们考虑这些帧级特征在用作无监督AWE模型的训练输入时是否有益。我们比较帧级功能，从对比预测编码（CPC），自回归预测编码和CAE到传统的MFCC。这些被用作输入到一个经常性的CAE为基础的AWE模型。在英语和Xitsonga数据的单词辨别任务中，所有三种表示学习方法都优于MFCC，CPC始终显示出最大的改善。在跨语言的实验中，我们发现，CPC功能的英语培训也可以转移到Xitsonga。
2020-12-14 cs.CL eess.AS
Unsupervised Text-to-Speech Synthesis by Unsupervised Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
一种无监督的文本转语音合成（TTS）系统，通过观察：1）该语言中的未转录语音波形的集合; 2）在不访问任何转录语音的情况下以该语言书写的文本的集合，来学习生成与该语言中的任何书写句子相对应的语音波形。开发这样的系统可以显著提高语音技术对没有大量并行语音和文本数据的语言的可用性。本文提出了一种基于对齐模块和合成模块的无监督TTS系统，对齐模块输出伪文本，合成模块使用伪文本进行训练，真实文本进行推理。我们的无监督系统可以在七种语言中实现与有监督系统相当的性能，每种语言大约10-20小时。对文本单元和声码器的影响也进行了仔细的研究，以更好地了解哪些因素可能影响无监督TTS性能。我们的模型生成的示例可以在https：//cactuswiththoughts.github.io/UnsupTTS-Demo上找到，我们的代码可以在https://github.com/lwang114/UnsupTTS上找到。
2022-08-15 cs.AI eess.AS
Improving Transformer-based Speech Recognition Using Unsupervised Pre-training
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
语音识别技术在各种工业应用中越来越普及。为了解决语音识别系统需要大量转录数据的问题，提出了一种基于Transformer模型的无监督预训练方法Masked Predictive Coding。在香港科技大学的实验表明，使用相同的训练数据，我们可以实现CER 23.3%，超过最好的端到端模型的绝对CER超过0.2%。有了更多的预训练数据，我们可以进一步将CER降低到21.0%，或者相对于基线降低11.8%。
2019-10-31 cs.CL cs.SD eess.AS
Unsupervised feature learning for speech using correspondence and Siamese networks
在转录语音音频不可用的零资源设置中，无监督特征学习对于下游语音处理任务至关重要。在这里，我们比较了两种最近的帧级声学特征学习方法。对于这两种方法，无监督的术语发现用于找到相同未知类型的单词示例对。然后使用动态规划来对齐每个词对之间的特征框架，作为两个模型的弱自上而下的监督。对于对应自动编码器（CAE），匹配帧作为输入输出对。Triamese网络使用对比损失来减少相同预测词类型的帧之间的距离，同时增加否定示例之间的距离。第一次，这些特征提取器使用相同的弱监督对在相同的判别任务上进行比较。我们发现，在这里考虑的两个数据集上，CAE优于Triamese网络。然而，我们发现，一个新的混合对应Triamese方法（CTriamese），一贯优于CAE和Triamese模型的平均精度和ABX出错率的英语和Xitsonga评估数据。
2020-03-28 cs.CL eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google LLC（谷歌有限责任公司）
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括：（1）捕获每帧信息的局部编码器;（2）捕获每话语信息的全局编码器;以及（3）在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明：（1）局部隐变量对语音内容进行编码，即使采用不同的全局编码，重构语音也能以较低的词出错率（WER）被ASR识别;（2）全局隐变量对说话人风格进行编码，重构语音与全局编码的源话语具有说话人身份。此外，我们展示了一个有用的应用程序，从我们的预训练模型，我们可以训练的说话人识别模型的全球潜在变量，并实现高精度的微调与尽可能少的数据，每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition with N-Skipgram and Positional Unigram Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；KAIST（韩国科学技术院）
针对无监督语音识别训练中GAN不稳定、音文不对齐及内存需求大的问题，提出结合低阶N-skipgram与位置一元语法统计的ESPUM系统，在TIMIT基准上取得有竞争力的ASR和音素分割性能，且代码已开源。
2023-10-03 cs.CL cs.SD eess.AS
Comparing Unsupervised and Supervised Semantic Speech Tokens: A Case Study of Child ASR
本文对比了监督和无监督语义语音标记在儿童语音识别中的性能，发现监督方法在低资源环境下表现更优。
2025-12-02 eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition
Facebook AI（脸书人工智能）；Google AI（谷歌人工智能）
尽管在最近的过去取得了快速的进步，但是当前的语音识别系统仍然需要标记的训练数据，这将该技术限制在全球所讲语言的一小部分。本文介绍了wav 2 vec-U，简称wav 2 vec无监督，训练语音识别模型没有任何标记的数据的方法。我们利用自我监督的语音表示来分割未标记的音频，并通过对抗训练来学习从这些表示到音素的映射。正确的表示是我们方法成功的关键。与之前最好的无监督工作相比，wav 2 vec-U将TIMIT基准测试中的音素出错率从26.1降低到11.3。在更大的英语Libripeech基准测试中，wav 2 vec-U在test-other上实现了5.9的单词出错率，与两年前在960小时的标记数据上训练的一些最好的已发布系统相媲美。我们还在其他九种语言上进行了实验，包括吉尔吉斯语、斯瓦希里语和鞑靼语等低资源语言。
2022-05-02 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Evaluating context-invariance in unsupervised speech representations
University of Toronto（多伦多大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性，并证明上下文无关性可预测词级表示稳定性，建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入，这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标，在长达9500小时的抓取英语语音数据上对嵌入进行了训练，而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入，并在说话人比较，话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估，将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
在本文中，我们提出了一个顺序表示量化自动编码器（SeqRQ-AE）学习主要是不成对的音频数据，并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割，使表示音素同步，和适当的语音聚类，有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明，学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中，我们的方法在音素识别方面优于现有方法，并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
An Unsupervised Autoregressive Model for Speech Representation Learning
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的无监督自回归神经模型学习通用语音表示。与其他旨在去除噪声或说话人可变性的语音表示学习方法相比，我们的方法旨在为广泛的下游任务保留信息。此外，该模型不需要任何语音或词边界标签，使该模型能够受益于大量未标记的数据。通过我们的模型学习的语音表示显著提高了电话分类和说话人验证的性能，超过了表面特征和其他监督和无监督方法。进一步的分析表明，我们的模型在不同层捕获了不同级别的语音信息。特别是，较低的层往往对说话者更具辨别力，而较高的层提供更多的语音内容。
2019-06-19 cs.CL cs.LG cs.SD
Improving Cascaded Unsupervised Speech Translation with Denoising Back-translation
National Taiwan University（国立台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出去噪反向翻译方法构建无监督级联语音翻译系统，在CoVoST 2和CVSS上取得与早期监督方法相当的结果，并将BLEU分数提升0.7--0.9。
2023-05-12 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法，可处理情绪、说话人等多种声学—语义风格变化，并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR
National Taiwan University（台湾大学）
本文提出REBORN，一种通过强化学习交替训练语音边界分割模型和音素预测模型的无监督ASR方法，在多个数据集上超越现有模型。
2024-11-15 cs.CL cs.SD eess.AS
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容，节奏，音高和音色来执行特定于方面的语音转换。然而，SpeechSplit需要仔细调整自动编码器瓶颈，这可能很耗时，而且不太可靠。本文提出了SpeechSplit 2.0，它约束的语音分量的信息流，使用有效的信号处理方法，而不是瓶颈调整的自动编码器输入解开。评估结果表明，SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
Almost Unsupervised Text to Speech and Automatic Speech Recognition
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft STC Asia（微软亚洲技术中心）
文本到语音（TTS）和自动语音识别（ASR）是语音处理中的两个双重任务，由于深度学习的最新进展和大量对齐的语音和文本数据，它们都取得了令人印象深刻的性能。然而，缺乏对齐的数据对低资源语言的TTS和ASR提出了一个主要的实际问题。在本文中，通过利用这两个任务的双重性质，我们提出了一种几乎无监督的学习方法，该方法只利用了数百个配对数据和额外的未配对数据用于TTS和ASR。该方法包括以下几个部分：（1）一个去噪自动编码器，它分别对语音和文本序列进行重构，以开发语音和文本域的语言建模能力;（2）双重转换，其中TTS模型将文本$y$转换为语音$\hat{x}$，并且ASR模型利用转换后的对$(\hat{x},y)$进行训练，反之亦然，（3）双向序列建模，其解决了在使用少量配对数据进行训练时特别是在长语音和文本序列中的错误传播;（4）统一的模型结构，其基于Transformer模型将TTS和ASR的所有上述组件组合在一起。我们的方法在LJSpeech数据集上实现了99.84%的词级可理解率和2.68 MOS的TTS，以及11.7%的PER的ASR，通过利用仅200对语音和文本数据（约20分钟的音频），以及额外的未配对的语音和文本数据。
2020-07-26 cs.CL cs.SD eess.AS
Unsupervised Word Segmentation from Discrete Speech Units in Low-Resource Settings
Avignon University（阿维尼翁大学）；Bogazici University（海峡大学）；Brno University of Technology（布尔诺理工大学）；LISN CNRS（法国国家科学研究中心LISN实验室）；University of Sheffield（谢菲尔德大学）；Naver Labs Europe（Naver欧洲实验室）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
记录语言有助于防止濒危方言的灭绝，其中许多方言预计将在本世纪末消失。在记录口头语言时，从语音中进行无监督分词（UWS）是一项有用但具有挑战性的任务。它包括产生时间戳，用于将话语分割成与单词相对应的更小的片段，从语音转录执行，或者在没有这些的情况下，从无监督语音离散化模型的输出执行。这些离散化模型仅使用原始语音进行训练，产生可应用于下游（基于文本）任务的离散语音单元。在本文中，我们比较了五个这些模型：三个贝叶斯和两个神经的方法，关于UWS的生产单位的可利用性。对于UWS任务，我们使用两种模型进行实验，使用来自刚果布拉柴维尔的一种不成文语言Mboshi（班图C25）作为我们的目标语言。此外，我们报告的结果，芬兰语，匈牙利语，罗马尼亚语和俄语在同样低的资源设置，使用只有4个小时的讲话。我们的研究结果表明，语音离散化的神经模型在我们的环境中很难利用，并且可能有必要调整它们以限制序列长度。我们得到我们最好的UWS的结果，使用贝叶斯模型，产生高质量的，但压缩，离散表示的输入语音信号。
2022-05-18 cs.CL cs.SD eess.AS
Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）
在本文中，我们报告了我们在2019年赛道上提交的ZeroSpeech 2020挑战系统。这个挑战的主题是建立一个没有任何文本信息或语音标签的语音合成器。为了应对这些挑战，我们构建了一个系统，该系统必须解决两个主要组件，例如1）给定语音音频，以无监督的方式提取子字单元，2）重新合成来自新扬声器的音频。系统还需要在ABX出错率和比特率压缩率之间平衡码本性能。我们在这里的主要贡献是，我们提出了基于变换器的VQ-VAE的无监督单元发现和基于变换器的逆变器的语音合成给定提取的码书。此外，我们还探索了几种正则化方法来进一步提高性能。
2020-05-24 cs.CL cs.LG cs.SD
Speech Corpora Divergence Based Unsupervised Data Selection for ASR
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自动语音识别（ASR）训练过程中，应用场景匹配数据的选取是一个重要环节，但训练语料的匹配程度难以度量。提出了一种基于语音语料库差异度（SCD）的无监督目标感知数据选择方法，该方法可以度量两个语音语料库之间的相似性。我们首先使用自监督Hubert模型将语音语料离散化为标签序列，并计算N-gram概率分布。然后我们计算N元语法之间的Kullback-Leibler散度作为SCD。最后，我们可以选择具有最小SCD的子集到目标语料库进行标注和训练。与以往的数据选择方法相比，SCD数据选择方法可以关注更多的声学细节，并保证所选数据集的多样性。我们评估我们的方法对不同的口音从共同的声音。实验结果表明，提出的SCD数据选择可以实现14.8%的相对改善随机选择，相当于甚至优于监督选择的结果。
2023-02-26 cs.CL cs.SD eess.AS
Leveraging unsupervised and weakly-supervised data to improve direct speech-to-speech translation
Google Research（谷歌研究院）
不依赖中间文本表示的端到端语音到语音翻译（S2 ST）是一个迅速兴起的研究前沿。最近的工作表明，这种直接S2 ST系统的性能接近传统的级联S2 ST在可比的数据集上训练时。然而，在实践中，直接S2 ST的性能受到成对S2 ST训练数据的可用性的限制。在这项工作中，我们探索了多种方法，利用更广泛的无监督和弱监督语音和文本数据来提高基于Translatotron 2的直接S2 ST的性能。使用我们最有效的方法，与之前在没有额外数据的情况下训练的最先进的方法相比，CVSS-C语料库上21种语言对的直接S2 ST的平均翻译质量提高了+13.6 BLEU（或相对+113%）。低资源语言的改善更显着（平均增加398%）。我们的比较研究为S2 ST和语音表示学习的未来研究方向提出了建议。
2022-06-27 cs.CL cs.LG cs.SD
Enhancing Unsupervised Speech Recognition with Diffusion GANs
NVIDIA（英伟达）
我们通过扩散GAN增强了无监督自动语音识别（ASR）的香草对抗训练方法。我们的模型（1）将各种强度的实例噪声注入到生成器的输出和未标记的参考文本中，这些参考文本是从具有长度约束的预训练音素语言模型中采样的，（2）要求扩散时间步长相关的鉴别器将它们分离，以及（3）反向传播梯度以更新生成器。单词/音素出错率比较与wav 2 vec-U在Librispeech（3.1%的测试清洁和5.6%的测试其他），TIMIT和MLS数据集，表明我们的增强策略有效地工作。
2023-03-23 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised Speech Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
自监督学习（SSL）已经能够利用未标记的数据来提高自动语音识别（ASR）模型的性能，当我们只能访问少量的转录语音数据时。然而，这提出了一个问题，即应该选择可用的未标记数据的哪个子集进行转录。我们的工作研究了不同的无监督数据选择技术，用于在有限的转录预算下微调HuBERT模型。我们研究了说话人多样性、性别偏见和话题多样性对下游ASR性能的影响。我们还设计了两种新的无监督数据选择技术：基于预训练损失的数据选择和字节对编码聚类单元（PBPE）的困惑，我们展示了这些技术与纯随机数据选择的比较。最后，我们分析了所选微调子集的固有特性之间的相关性，以及这些特性如何与所得的字错误率相关。我们证明了令牌的多样性，扬声器的多样性和主题的多样性，在WER方面实现最佳性能的重要性。
2022-12-03 cs.CL cs.SD eess.AS
Unsupervised vs. transfer learning for multimodal one-shot matching of speech and images
Stellenbosch University（斯泰伦博斯大学）
我们考虑多模式一次性语音图像匹配的任务。代理人被展示一张图片以及描述图片中对象的口语单词，例如饼干，花椰菜和冰淇淋。在观察每个类的一个配对的语音图像的例子，它被显示了一组新的看不见的图片，并要求选择“冰淇淋”。以前的工作试图使用迁移学习来解决这个问题：监督模型在不包含任何一次性类的标记背景数据上进行训练。在这里，我们将迁移学习与在未标记的域内数据上训练的无监督模型进行了比较。在一个成对的孤立的口语和视觉数字的数据集上，我们专门比较了无监督的自动编码器模型与监督分类器和暹罗神经网络。在单峰和多峰Few-Shot匹配实验中，我们发现迁移学习优于无监督训练。我们还提出了将这两种方法相结合的实验，但发现迁移学习仍然表现最好（尽管理想化的实验显示了无监督学习的好处）。
2020-08-14 cs.CL cs.CV cs.SD
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley（加州大学伯克利分校）
人类说话者将信息编码成原始语音，然后由听者解码。编码（产生）和解码（感知）之间的这种复杂关系通常是单独建模的。在这里，我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现，该网络结合了语音的产生和感知原理。据我们所知，我们介绍了无监督词汇学习中最具挑战性的目标：一个网络，必须学习词汇项的唯一表示，没有直接存取训练数据。我们训练了几个模型（ciwGAN和fiwGAN arXiv：2006.02951），并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此，组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息，而无需直接访问真实的训练数据。我们提出了一种技术，探索词汇（整体）和词汇（特征）学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义，因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised pre-training for sequence to sequence speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种新的方法来预训练编码器-解码器序列到序列（seq 2seq）模型分别与不成对的语音和成绩单。我们的预训练方法分为两个阶段，命名为声学预训练和语言预训练。在声学预训练阶段，我们使用大量的语音来预训练编码器，通过预测掩蔽的语音特征块与其上下文。在语言预训练阶段，我们使用单说话人文本到语音（TTS）系统从大量的成绩单生成合成语音，并使用合成的成对数据预训练解码器。这种两阶段的预训练方法将丰富的声学和语言知识集成到seq 2seq模型中，这将有利于下游的自动语音识别（ASR）任务。在AISHELL-2数据集上完成了无监督预训练，并将预训练的模型应用于AISHELL-1和HKUST的多个配对数据比率。在AISHELL-1和HKUST上，相对字符出错率降低率分别从38.24%和12.00%降低到7.88%和1.20%。此外，我们将我们的预训练模型应用于CALLHOME数据集的跨语言案例。对于CALLHOME数据集中的所有六种语言，我们的预训练方法使模型始终优于基线。
2020-01-02 cs.CL cs.SD eess.AS
Unsupervised Speech Enhancement using Data-defined Priors
本文提出双分支编码器-解码器与对抗训练框架，利用不成对干净语音和噪声数据定义先验，实现无监督语音增强，并揭示域内干净数据会导致性能评估过于乐观。
2025-09-26 cs.AI cs.SD eess.AS
The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling
Facebook AI Research（Facebook人工智能研究院）；EHESS（社会科学高等学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
我们引入了一个新的无监督任务，口语建模：从没有任何标签的原始音频信号中学习语言表示，以及零资源语音基准2021：一套4个黑盒，zero-shot指标，在4个语言水平上探索学习模型的质量：语音，词汇，语法和语义。我们展示了由三个无监督系统串联而成的复合基线的结果和分析：自监督对比表示学习（CPC），聚类（k-means）和语言建模（LSTM或BERT）。语言模型基于从聚类学习的表示导出的伪文本进行学习。这个简单的流水线在所有四个指标上都表现出了优于机会的性能，证明了从原始语音进行口语建模的可行性。与在相同数据上训练的基于文本的“背线”系统相比，它的性能也更差，描绘了由更复杂的端到端模型探索的空间。
2020-12-01 cs.CL cs.SD eess.AS
DiscoPhon: Benchmarking the Unsupervised Discovery of Phoneme Inventories With Discrete Speech Units
LSCP, ENS, EHESS, CNRS, PSL University, France（法国国家科学研究中心（CNRS）、巴黎高等师范学院（ENS）、高等科学研究所（EHESS）、巴黎社会科学大学（PSL University）和LSCP实验室）
DiscoPhon通过评估无监督音素发现方法，测试在未知语言中从离散语音单元生成音素库存的能力，提供四个预训练多语言模型基准，展示当前模型能有效关联语音单元与音素。
2026-09-25 cs.CL cs.SD eess.AS
Unsupervised Spoken Term Discovery Based on Re-clustering of Hypothesized Speech Segments with Siamese and Triplet Networks
The Chinese University of Hong Kong（香港中文大学）
从未转录的语音音频中发现口语术语可以通过两个阶段的过程来实现。在第一阶段中，未标记的语音被解码成一系列的子字单元，这些子字单元以无监督的方式被学习和建模。在第二阶段中，对解码的子词序列执行部分序列匹配和聚类，从而产生一组发现的词或短语。这种方法的局限性在于子字解码的结果可能是错误的，并且错误将影响后续步骤。虽然Siamese/Triplet网络是一种学习片段表示的方法，可以改善发现过程，但在完全无监督的场景下口语术语发现的挑战是训练示例不可用。在本文中，我们提出了从初始假设序列聚类生成训练样本。在假设的示例上训练Siamese/Triplet网络以测量两个语音片段之间的相似性，并由此执行所有假设的子词序列的重新聚类以实现口语术语发现。实验结果表明，该方法能有效地获得Siamese和Triplet网络的训练样本，与原两阶段方法相比，提高了口语词发现的效率。
2021-06-02 cs.CL cs.SD eess.AS
Combining Unsupervised and Text Augmented Semi-Supervised Learning for Low Resourced Autoregressive Speech Recognition
Raytheon BBN Technologies（雷神BBN技术公司）
无监督表示学习的最新进展已经证明了预训练对大量阅读语音的影响。我们适应这些技术的领域自适应在低资源-无论是在数据和计算-会话和广播领域。超越CTC，我们以无监督的方式预训练最先进的Conformer模型。虽然无监督方法优于传统的半监督训练，但这些技术是互补的。与单独的半监督训练相比，结合这些技术在所有条件下平均WER有5%的绝对改善。通过外部语言模型合并附加文本数据。通过使用基于CTC的解码，我们能够更好地利用额外的文本数据。当用作转录模型时，它允许Conformer模型通过半监督训练而不是浅融合来更好地结合来自语言模型的知识。与浅融合相比，使用基于CTC的解码进行半监督训练时，最终性能绝对值额外提高2%。
2022-02-11 cs.CL cs.SD eess.AS
Completely Unsupervised Speech Recognition By A Generative Adversarial Network Harmonized With Iteratively Refined Hidden Markov Models
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成一个大型注释语音语料库仍然很困难，但是为这些语言收集一个相对较大的未标记数据集是更容易实现的。这就是为什么一些最初的努力已经报道了完全无监督的语音识别学习从未标记的数据，虽然相对较高的出错率。在本文中，我们开发了一个生成对抗网络（GAN）来实现这一目的，其中生成器和鉴别器迭代地相互学习以提高性能。我们进一步使用一组隐马尔可夫模型（HMRM），从机器生成的标签中迭代改进，以与GAN协调工作。在TIMIT数据集上的初步实验实现了33.1%的电话出错率，这比以前的最先进水平低8.5%。
2019-08-23 cs.CL cs.SD eess.AS
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of British Columbia（不列颠哥伦比亚大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Newcastle University（纽卡斯尔大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
直接从语音信号中导出语义表示是一项极具挑战性的任务，但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元，我们提出了WavEmbed，一个多模态顺序自动编码器，预测隐藏单元从密集的语音表示。其次，我们还提出了S-HuBERT通过知识蒸馏来归纳意义，其中句子嵌入模型首先在隐藏单元上进行训练，并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中（0.5~0.6），不依赖于任何标签或透明度。此外，这些模型还可以很容易地扩展，以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘，索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Teacher-Student MixIT for Unsupervised and Semi-supervised Speech Separation
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们介绍了一种新的半监督学习框架的端到端的语音分离。该方法首先使用未分离源的混合物和混合不变训练（MixIT）准则来训练教师模型。然后，教师模型估计分离的源，这些源用于通过标准排列不变训练（PIT）来训练学生模型。学生模型可以用监督数据进行微调，即，配对的人工混合物和干净的语音源，并通过模型蒸馏进一步改进。单通道和多通道混合的实验表明，师生培训解决了在原始MixIT方法中观察到的过度分离问题。此外，半监督的性能与使用十倍的监督数据量训练的全监督分离系统相当。
2021-09-09 cs.CL cs.SD eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Unsupervised Learning For Sequence-to-sequence Text-to-speech For Low-resource Languages
NetEase Games AI Lab（网易游戏人工智能实验室）
近年来，带注意力的序列到序列模型在文本转语音（TTS）中得到了成功的应用。这些模型可以生成接近人类的语音与大量准确转录的语音语料库。然而，准备如此大的数据集既昂贵又费力。为了缓解数据需求量大的问题，本文提出了一种新的无监督预训练机制。具体来说，我们首先使用矢量量化变分自动编码器（VQ-VAE）从大规模的，公开的，和未转录的语音提取无监督的语言单位。然后，我们通过使用<无监督语言单位，音频>对来预训练序列到序列TTS模型。最后，我们用目标说话人的少量<text，audio>配对数据对模型进行微调。客观和主观评价结果表明，该方法可以用相同数量的成对训练数据合成更清晰、更自然的语音。此外，我们将所提出的方法扩展到假设的低资源语言，并使用客观评价来验证该方法的有效性。
2020-08-11 cs.SD eess.AS
Robust Feature Clustering for Unsupervised Speech Activity Detection
University of Texas at Dallas（德克萨斯大学达拉斯分校）
在诸如零资源语音处理或极低资源语音语言系统的某些应用中，收集语音活动检测（SAD）注释可能是不可行的。然而，基于神经网络或其他机器学习方法的最先进的监督SAD技术需要与目标域匹配的带注释的训练数据。本文建立了一个聚类方法，完全无监督SAD有用的情况下，SAD注释不可用。所提出的方法利用哈迪根浸渍测试的递归策略分割成突出的模式的特征空间。统计倾角对失真是不变的，这为所提出的方法提供了鲁棒性。我们在NIST OpenSAD 2015和NIST OpenSAT 2017公共安全通信数据上评估了该方法。结果表明，所提出的方法优于两个组件的GMM基线。索引术语：聚类，Hartigan dip test，NIST OpenSAD，NIST OpenSAT，语音活动检测，零资源语音处理，无监督学习。
2018-06-25 cs.SD eess.AS
Unsupervised speech enhancement with deep dynamical generative speech and noise models
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）
该研究针对无监督语音增强任务，提出用深度动态生成模型（DDGM）替代传统非负矩阵分解噪声模型，支持三种训练配置，在性能比肩现有最优无监督方法的同时，噪声依赖训练配置可显著提升推理时间效率。
2023-06-13 cs.LG cs.SD eess.AS
A Theory of Unsupervised Speech Recognition
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Korea Advanced Institute of Science Technology（韩国科学技术院）
针对无监督语音识别缺乏理论框架的问题，本文提出基于随机矩阵理论和神经正切核的通用理论框架，证明了相关可学习性条件与样本复杂度界，并通过合成语言实验提供了实证支持。
2023-06-09 cs.CL cs.LG cs.SD
Towards Unsupervised Speech-to-Text Translation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个框架，用于建立语音到文本翻译（ST）系统，只使用单语语音和文本语料库，换句话说，从一个源语言和独立的文本从一个目标语言的语音话语。与传统的级联系统和端到端架构相反，我们的系统不需要任何标记数据（即，训练期间转录的源音频或并行源和目标文本语料库），使其特别适用于双语资源很少甚至为零的语言对。该框架利用从单语语料库中推断出的跨模态双语词典来支持ST系统，该词典将对应于口语单词的每个源语音段映射到其目标文本翻译。对于看不见的源语音话语，系统首先对话语中的每个语音段执行逐字翻译。通过利用语言模型和序列去噪自动编码器来提供关于目标语言的先验知识来改进翻译。实验结果表明，尽管缺乏监督，我们的无监督系统实现了与监督端到端模型相当的BLEU分数。我们还提供消融分析来检查我们系统中每个组件的实用性。
2018-11-04 cs.CL cs.LG cs.SD
A Brief Overview of Unsupervised Neural Speech Representation Learning
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Corti；Pioneer Centre for AI（AI先锋中心）
在过去的几年里，用于语音处理的无监督表示学习已经非常成熟。计算机视觉和自然语言处理方面的工作已经铺平了道路，但语音数据带来了独特的挑战。因此，来自其他域的方法很少直接转换。我们回顾了过去十年来语音无监督表示学习的发展。我们确定了两个主要的模型类别：自我监督的方法和概率潜变量模型。我们描述了模型，并制定了一个全面的分类。最后，我们讨论和比较两类模型。
2022-03-01 cs.LG cs.SD eess.AS
