Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)（Meta基础人工智能研究院（FAIR））
用于训练语音任务模型的标记数据量对于大多数语言是有限的，然而，对于需要覆盖两种不同语言的标记数据的语音翻译，数据稀缺性加剧。为了解决这个问题，我们研究了一种简单而有效的方法来构建语音翻译系统，而无需标记数据，通过利用无监督语音识别，机器翻译和语音合成的最新进展，无论是在管道方法中，还是生成伪标签用于训练端到端的语音翻译模型。此外，我们提出了一个无监督领域自适应技术的预训练的语音模型，提高了下游无监督语音识别的性能，特别是对于低资源设置。实验表明，在Libri-Trans基准测试中，无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU，在CoVoST 2上，我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型（没有预训练）高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis
Toshiba Research Europe（东芝欧洲研究院）；Tohoku University（东北大学）；University of Sheffield（谢菲尔德大学）
本文提出利用无监督TTS从少量带口音语音生成合成数据以增强ASR训练，在Wav2vec2.0自监督框架下使词错误率相对降低最高达6.1%。
2024-07-04 cs.CL cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用，这些模型对各种SLU任务都有合理的改进。然而，由于语音信号和文本标记之间的不匹配模态，以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式，它连接语音和文本预训练模型，从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说，我们建议使用无监督自动语音识别（ASR）作为连接器，连接语音和文本预训练模型中使用的不同模态。我们的实验表明，无监督ASR本身可以改善语音自监督模型的表示。更重要的是，它被证明是语音和文本预训练模型之间的有效连接器，提高了五种不同SLU任务的性能。值得注意的是，在口语问答方面，我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation for Robust Speech Recognition via Variational Autoencoder-Based Data Augmentation
Massachusetts Institute of Technology（麻省理工学院）
在许多机器学习场景中，训练和测试之间的域不匹配可能导致性能显著下降。不幸的是，对于实际应用中的自动语音识别部署，这种情况并不罕见。鲁棒语音识别的研究可以被看作是试图克服这个域失配问题。在本文中，我们解决了鲁棒语音识别的无监督领域自适应问题，其中源和目标域的语音，但单词成绩单只适用于源域语音。我们提出了新的增强为基础的方法，转换语音的方式，不改变成绩单。具体来说，我们首先训练一个变分自编码器的源和目标域数据（没有监督）学习语音的潜在表示。然后，我们通过修改潜在表示来变换与识别无关的语音的讨厌属性，以便用分布更类似于目标域的附加数据来增强标记的训练数据。在CHiME-4数据集上对所提出的方法进行了评估，与非适应基线相比，该方法将绝对字出错率（WER）降低了35%。
2017-09-22 cs.CL cs.LG
Improving Transformer-based Speech Recognition Using Unsupervised Pre-training
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
语音识别技术在各种工业应用中越来越普及。为了解决语音识别系统需要大量转录数据的问题，提出了一种基于Transformer模型的无监督预训练方法Masked Predictive Coding。在香港科技大学的实验表明，使用相同的训练数据，我们可以实现CER 23.3%，超过最好的端到端模型的绝对CER超过0.2%。有了更多的预训练数据，我们可以进一步将CER降低到21.0%，或者相对于基线降低11.8%。
2019-10-31 cs.CL cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google LLC（谷歌有限责任公司）
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括：（1）捕获每帧信息的局部编码器;（2）捕获每话语信息的全局编码器;以及（3）在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明：（1）局部隐变量对语音内容进行编码，即使采用不同的全局编码，重构语音也能以较低的词出错率（WER）被ASR识别;（2）全局隐变量对说话人风格进行编码，重构语音与全局编码的源话语具有说话人身份。此外，我们展示了一个有用的应用程序，从我们的预训练模型，我们可以训练的说话人识别模型的全球潜在变量，并实现高精度的微调与尽可能少的数据，每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法，可处理情绪、说话人等多种声学—语义风格变化，并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
Unsupervised Speech Recognition with N-Skipgram and Positional Unigram Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；KAIST（韩国科学技术院）
针对无监督语音识别训练中GAN不稳定、音文不对齐及内存需求大的问题，提出结合低阶N-skipgram与位置一元语法统计的ESPUM系统，在TIMIT基准上取得有竞争力的ASR和音素分割性能，且代码已开源。
2023-10-03 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition
Facebook AI（脸书人工智能）；Google AI（谷歌人工智能）
尽管在最近的过去取得了快速的进步，但是当前的语音识别系统仍然需要标记的训练数据，这将该技术限制在全球所讲语言的一小部分。本文介绍了wav 2 vec-U，简称wav 2 vec无监督，训练语音识别模型没有任何标记的数据的方法。我们利用自我监督的语音表示来分割未标记的音频，并通过对抗训练来学习从这些表示到音素的映射。正确的表示是我们方法成功的关键。与之前最好的无监督工作相比，wav 2 vec-U将TIMIT基准测试中的音素出错率从26.1降低到11.3。在更大的英语Libripeech基准测试中，wav 2 vec-U在test-other上实现了5.9的单词出错率，与两年前在960小时的标记数据上训练的一些最好的已发布系统相媲美。我们还在其他九种语言上进行了实验，包括吉尔吉斯语、斯瓦希里语和鞑靼语等低资源语言。
2022-05-02 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Evaluating context-invariance in unsupervised speech representations
University of Toronto（多伦多大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性，并证明上下文无关性可预测词级表示稳定性，建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition at the Syllable-Level
Massachusetts Institute of Technology（麻省理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有无监督语音识别依赖高成本资源、训练不稳定的问题，提出基于掩码语言建模的音节级UASR框架，无需G2P且规避GAN方法的不稳定性，在LibriSpeech上CER相对降低最高40%，还能有效泛化到普通话。
2025-10-04 cs.AI cs.CL
Progressive Joint Modeling in Unsupervised Single-channel Overlapped Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；Microsoft AI and Research（微软人工智能与研究事业部）
无监督单通道重叠语音识别是自动语音识别（ASR）的难点之一。排列不变训练（Permutation Invariant Training，PIT）是一种基于模型的方法，它应用单个神经网络来解决这种单输入、多输出的建模问题。我们建议通过在神经网络上施加模块化结构，应用渐进的预训练方案，并使用迁移学习和判别训练标准改进目标函数来推进当前的技术水平。模块化结构将问题分为三个子任务：逐帧解释、话语级说话人跟踪和语音识别。预训练方案使用这些模块来解决越来越难的任务。迁移学习利用并行干净语音来改进网络的训练目标。我们的判别训练公式是标准公式的修改，也惩罚了系统的竞争输出。在人工重叠的Switchboard和hub 5e-swb数据集上进行了实验。与强大的联合训练系统（用于ASR的PIT）和单独优化的系统（用于使用干净语音ASR模型进行语音分离的PIT）相比，所提出的框架实现了WER 30%以上的相对改进。改进来自更好的模型泛化能力、训练效率和序列级语言知识集成。
2017-10-20 cs.AI cs.CL
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
在本文中，我们提出了一个顺序表示量化自动编码器（SeqRQ-AE）学习主要是不成对的音频数据，并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割，使表示音素同步，和适当的语音聚类，有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明，学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中，我们的方法在音素识别方面优于现有方法，并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Enhancing Unsupervised Speech Recognition with Diffusion GANs
NVIDIA（英伟达）
我们通过扩散GAN增强了无监督自动语音识别（ASR）的香草对抗训练方法。我们的模型（1）将各种强度的实例噪声注入到生成器的输出和未标记的参考文本中，这些参考文本是从具有长度约束的预训练音素语言模型中采样的，（2）要求扩散时间步长相关的鉴别器将它们分离，以及（3）反向传播梯度以更新生成器。单词/音素出错率比较与wav 2 vec-U在Librispeech（3.1%的测试清洁和5.6%的测试其他），TIMIT和MLS数据集，表明我们的增强策略有效地工作。
2023-03-23 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR
National Taiwan University（台湾大学）
本文提出REBORN，一种通过强化学习交替训练语音边界分割模型和音素预测模型的无监督ASR方法，在多个数据集上超越现有模型。
2024-11-15 cs.CL cs.SD eess.AS
Almost Unsupervised Text to Speech and Automatic Speech Recognition
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft STC Asia（微软亚洲技术中心）
文本到语音（TTS）和自动语音识别（ASR）是语音处理中的两个双重任务，由于深度学习的最新进展和大量对齐的语音和文本数据，它们都取得了令人印象深刻的性能。然而，缺乏对齐的数据对低资源语言的TTS和ASR提出了一个主要的实际问题。在本文中，通过利用这两个任务的双重性质，我们提出了一种几乎无监督的学习方法，该方法只利用了数百个配对数据和额外的未配对数据用于TTS和ASR。该方法包括以下几个部分：（1）一个去噪自动编码器，它分别对语音和文本序列进行重构，以开发语音和文本域的语言建模能力;（2）双重转换，其中TTS模型将文本$y$转换为语音$\hat{x}$，并且ASR模型利用转换后的对$(\hat{x},y)$进行训练，反之亦然，（3）双向序列建模，其解决了在使用少量配对数据进行训练时特别是在长语音和文本序列中的错误传播;（4）统一的模型结构，其基于Transformer模型将TTS和ASR的所有上述组件组合在一起。我们的方法在LJSpeech数据集上实现了99.84%的词级可理解率和2.68 MOS的TTS，以及11.7%的PER的ASR，通过利用仅200对语音和文本数据（约20分钟的音频），以及额外的未配对的语音和文本数据。
2020-07-26 cs.CL cs.SD eess.AS
Speech Corpora Divergence Based Unsupervised Data Selection for ASR
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自动语音识别（ASR）训练过程中，应用场景匹配数据的选取是一个重要环节，但训练语料的匹配程度难以度量。提出了一种基于语音语料库差异度（SCD）的无监督目标感知数据选择方法，该方法可以度量两个语音语料库之间的相似性。我们首先使用自监督Hubert模型将语音语料离散化为标签序列，并计算N-gram概率分布。然后我们计算N元语法之间的Kullback-Leibler散度作为SCD。最后，我们可以选择具有最小SCD的子集到目标语料库进行标注和训练。与以往的数据选择方法相比，SCD数据选择方法可以关注更多的声学细节，并保证所选数据集的多样性。我们评估我们的方法对不同的口音从共同的声音。实验结果表明，提出的SCD数据选择可以实现14.8%的相对改善随机选择，相当于甚至优于监督选择的结果。
2023-02-26 cs.CL cs.SD eess.AS
A segmental framework for fully-unsupervised large-vocabulary speech recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Google, Inc.（谷歌公司）
零资源语音技术是一个不断发展的研究领域，其目的是在没有transmittance，词典或语言模型文本的情况下开发语音处理方法。早期的术语发现系统专注于识别语料库中孤立的重复模式，而最近的全覆盖系统试图将音频完全分割和聚类成类似单词的单元--有效地执行无监督的语音识别。本文介绍了第一次尝试，我们知道这样一个系统应用于大词汇量的多说话人数据。我们的系统使用贝叶斯建模框架与分段词表示：每个词段表示为一个固定的维度的声学嵌入，通过映射的特征帧序列到一个单一的嵌入向量。我们将我们的系统在英语和Xitsonga数据集上与最先进的基线进行比较，使用各种测量方法，包括单词出错率（通过将无监督输出映射到地面真实transmittance获得）。非常高的字出错率的报告--在70- 80%的顺序为发言者依赖和80- 95%的发言者无关的系统--突出了这项任务的难度。然而，在集群质量和分词指标方面，我们表明，通过实施一致的自上而下的分割，同时也使用自下而上的知识，从检测到的音节边界，单扬声器和多扬声器版本的系统优于一个纯粹的自下而上的单扬声器音节为基础的方法。我们还表明，所发现的集群可以通过使用无监督的自动编码器样的特征提取器来学习更好的帧级特征（在嵌入之前），从而减少说话者和性别的特定性。我们的系统发现的集群仍然不如那些无监督的长期发现系统纯，但提供更大的覆盖面。
2017-09-16 cs.CL cs.LG
Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised Speech Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
自监督学习（SSL）已经能够利用未标记的数据来提高自动语音识别（ASR）模型的性能，当我们只能访问少量的转录语音数据时。然而，这提出了一个问题，即应该选择可用的未标记数据的哪个子集进行转录。我们的工作研究了不同的无监督数据选择技术，用于在有限的转录预算下微调HuBERT模型。我们研究了说话人多样性、性别偏见和话题多样性对下游ASR性能的影响。我们还设计了两种新的无监督数据选择技术：基于预训练损失的数据选择和字节对编码聚类单元（PBPE）的困惑，我们展示了这些技术与纯随机数据选择的比较。最后，我们分析了所选微调子集的固有特性之间的相关性，以及这些特性如何与所得的字错误率相关。我们证明了令牌的多样性，扬声器的多样性和主题的多样性，在WER方面实现最佳性能的重要性。
2022-12-03 cs.CL cs.SD eess.AS
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley（加州大学伯克利分校）
人类说话者将信息编码成原始语音，然后由听者解码。编码（产生）和解码（感知）之间的这种复杂关系通常是单独建模的。在这里，我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现，该网络结合了语音的产生和感知原理。据我们所知，我们介绍了无监督词汇学习中最具挑战性的目标：一个网络，必须学习词汇项的唯一表示，没有直接存取训练数据。我们训练了几个模型（ciwGAN和fiwGAN arXiv：2006.02951），并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此，组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息，而无需直接访问真实的训练数据。我们提出了一种技术，探索词汇（整体）和词汇（特征）学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义，因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised pre-training for sequence to sequence speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种新的方法来预训练编码器-解码器序列到序列（seq 2seq）模型分别与不成对的语音和成绩单。我们的预训练方法分为两个阶段，命名为声学预训练和语言预训练。在声学预训练阶段，我们使用大量的语音来预训练编码器，通过预测掩蔽的语音特征块与其上下文。在语言预训练阶段，我们使用单说话人文本到语音（TTS）系统从大量的成绩单生成合成语音，并使用合成的成对数据预训练解码器。这种两阶段的预训练方法将丰富的声学和语言知识集成到seq 2seq模型中，这将有利于下游的自动语音识别（ASR）任务。在AISHELL-2数据集上完成了无监督预训练，并将预训练的模型应用于AISHELL-1和HKUST的多个配对数据比率。在AISHELL-1和HKUST上，相对字符出错率降低率分别从38.24%和12.00%降低到7.88%和1.20%。此外，我们将我们的预训练模型应用于CALLHOME数据集的跨语言案例。对于CALLHOME数据集中的所有六种语言，我们的预训练方法使模型始终优于基线。
2020-01-02 cs.CL cs.SD eess.AS
A Theory of Unsupervised Speech Recognition
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Korea Advanced Institute of Science Technology（韩国科学技术院）
针对无监督语音识别缺乏理论框架的问题，本文提出基于随机矩阵理论和神经正切核的通用理论框架，证明了相关可学习性条件与样本复杂度界，并通过合成语言实验提供了实证支持。
2023-06-09 cs.CL cs.LG cs.SD
Combining Unsupervised and Text Augmented Semi-Supervised Learning for Low Resourced Autoregressive Speech Recognition
Raytheon BBN Technologies（雷神BBN技术公司）
无监督表示学习的最新进展已经证明了预训练对大量阅读语音的影响。我们适应这些技术的领域自适应在低资源-无论是在数据和计算-会话和广播领域。超越CTC，我们以无监督的方式预训练最先进的Conformer模型。虽然无监督方法优于传统的半监督训练，但这些技术是互补的。与单独的半监督训练相比，结合这些技术在所有条件下平均WER有5%的绝对改善。通过外部语言模型合并附加文本数据。通过使用基于CTC的解码，我们能够更好地利用额外的文本数据。当用作转录模型时，它允许Conformer模型通过半监督训练而不是浅融合来更好地结合来自语言模型的知识。与浅融合相比，使用基于CTC的解码进行半监督训练时，最终性能绝对值额外提高2%。
2022-02-11 cs.CL cs.SD eess.AS
Completely Unsupervised Speech Recognition By A Generative Adversarial Network Harmonized With Iteratively Refined Hidden Markov Models
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成一个大型注释语音语料库仍然很困难，但是为这些语言收集一个相对较大的未标记数据集是更容易实现的。这就是为什么一些最初的努力已经报道了完全无监督的语音识别学习从未标记的数据，虽然相对较高的出错率。在本文中，我们开发了一个生成对抗网络（GAN）来实现这一目的，其中生成器和鉴别器迭代地相互学习以提高性能。我们进一步使用一组隐马尔可夫模型（HMRM），从机器生成的标签中迭代改进，以与GAN协调工作。在TIMIT数据集上的初步实验实现了33.1%的电话出错率，这比以前的最先进水平低8.5%。
2019-08-23 cs.CL cs.SD eess.AS
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of British Columbia（不列颠哥伦比亚大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Newcastle University（纽卡斯尔大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
直接从语音信号中导出语义表示是一项极具挑战性的任务，但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元，我们提出了WavEmbed，一个多模态顺序自动编码器，预测隐藏单元从密集的语音表示。其次，我们还提出了S-HuBERT通过知识蒸馏来归纳意义，其中句子嵌入模型首先在隐藏单元上进行训练，并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中（0.5~0.6），不依赖于任何标签或透明度。此外，这些模型还可以很容易地扩展，以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘，索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Unsupervised Cross-lingual Representation Learning for Speech Recognition
Facebook AI（脸书人工智能）
本文介绍了XLSR，它通过从多种语言的语音原始波形中预训练单个模型来学习跨语言的语音表示。我们建立在wav 2 vec 2.0的基础上，通过在掩蔽的潜在语音表示上解决对比任务来训练wav 2 vec 2.0，并联合学习跨语言共享的潜在语音的量化。由此产生的模型在标记数据上进行了微调，实验表明，跨语言预训练显着优于单语预训练。在CommonVoice基准测试中，XLSR显示与最佳已知结果相比，相对音素出错率降低了72%。在BABEL，我们的方法提高了字出错率16%，相对于可比系统。我们的方法使一个单一的多语言语音识别模型，这是强大的个人模型的竞争力。分析表明，潜在的离散语音表示共享跨语言增加共享相关的语言。我们希望通过发布XLSR-53来促进低资源语音理解的研究，XLSR-53是一个用53种语言预训练的大型模型。
2020-12-15 cs.CL cs.LG cs.SD
Instruction Data Generation and Unsupervised Adaptation for Speech Language Models
NVIDIA（英伟达）
针对多模态大语言模型的语音-文本双模态训练样本稀缺问题，提出三种结合大语言模型与文本转语音的合成数据生成方法，验证了无标注语音数据扩大多语言训练的潜力，提升了模型跨模态整合理解能力。
2024-06-18 cs.AI cs.CL cs.LG
A Further Study of Unsupervised Pre-training for Transformer Based Speech Recognition
Didi Chuxing（滴滴出行）
建立一个好的语音识别系统通常需要大量的转录数据，这是昂贵的收集。在这些方法中，Masked Predictive Coding在具有BERT类Masked Reconstruction损失和Transformer骨干的各种语音识别数据集上实现了显著的改进。然而，MPC的许多方面尚未得到充分研究。在本文中，我们对MPC进行了进一步的研究，并集中在三个重要方面：预训练数据说话风格的影响，它对流模型的扩展，以及如何更好地将学习到的知识从预训练阶段转移到下游任务。实验表明，具有匹配说话风格的预训练数据在下游识别任务中更有用。在HKUST上训练的流模型上，APC和MPC的统一训练目标提供了8.46%的相对误差减少。此外，目标数据自适应和逐层判别训练的组合有助于MPC的知识转移，在强基线上，AISHELL的相对误差减少了3.99%。
2020-06-23 cs.CL cs.SD eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
BiRQ: Bi-Level Self-Labeling Random Quantization for Self-Supervised Speech Recognition
University of Rochester（罗切斯特大学）；IBM Research（IBM研究院）；Cornell University（康奈尔大学）
BiRQ 提出一种双层自监督语音识别框架，复用模型自身中间表征经随机投影量化生成增强伪标签，并以原始输入锚定标签稳定训练，通过一阶双层优化端到端求解，在多个数据集上以低复杂度持续优于 BEST-RQ。
2025-09-18 cs.CL cs.SD eess.AS
Unsupervised Adaptation with Domain Separation Networks for Robust Speech Recognition
Microsoft AI and Research（微软人工智能与研究部）
语音信号的无监督领域自适应的目的是使训练好的源域声学模型适应来自目标域的未标记数据。这可以通过深度神经网络（DNN）声学模型的对抗训练来实现，以学习既具有senone区分性又具有域不变性的中间深度表示。具体而言，DNN被训练为联合优化senone分类的主要任务和具有对抗性目标函数的域分类的次要任务。在这项工作中，而不是只专注于学习域不变特征（即域之间的共享组件），我们还通过私有组件提取器DNN显式建模每个域的私有组件来表征源和目标域分布之间的差异。私有组件被训练为与共享组件正交，从而隐式地增加共享组件的域不变性的程度。重建器DNN用于从私有和共享分量重建原始语音特征作为正则化。将该域分离框架应用于无监督环境适应任务，并在CHiME-3数据集上进行自动语音识别，从梯度反转层训练（一种代表性的对抗训练方法）实现了11.08%的相对WER降低。
2019-04-30 cs.AI cs.CL cs.SD
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是，获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而，从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中，我们提出了一种新的无监督自适应方法，学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示（例如，扬声器和通道）使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语，我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法，我们专注于一个通道失配设置，其中感兴趣的域是遥远的对话语音，标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集，优于所有基线和弥合之间的差距，不使用任何并行数据超过77%，不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
ASAPP Inc.（ASAPP公司）；Cornell University（康奈尔大学）
本文研究了自动语音识别（ASR）中预训练模型的性能-效率权衡。我们专注于wav 2 vec 2.0，并正式几个架构设计，影响模型的性能和效率。将我们所有的观察结果汇总在一起，我们引入了SEW（Squeezed and Efficient Wav 2 vec），这是一种预训练的模型架构，在各种训练设置中的性能和效率方面都有显着改进。例如，在LibriSpeech上的100 h-960 h半监督设置下，与wav 2 vec 2.0相比，SEW实现了1.9倍的推理加速，单词出错率相对降低了13.5%。在相似的推理时间下，SEW在不同的模型大小上将单词出错率降低了25-50%。
2021-09-14 cs.CL cs.LG cs.SD
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题，研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类，以聚类ID为训练特征，在保护隐私的同时提升了端到端ASR的公平性与鲁棒性，各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到人类婴儿开始通过少量范例词的声音（或语音结构）学习语言，并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词（信号段）中学习语音结构，而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习，也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中，仅2.1小时的语音数据（其中2500个口语单词被注释，其余未标记）给出了44.6%的单词出错率，并且如果给出4.1小时的语音数据（其中20000个口语单词被注释），则该数字可以降低到34.2%。这些结果并不令人满意，但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Extracting Domain Invariant Features by Unsupervised Learning for Robust Automatic Speech Recognition
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
自动语音识别（ASR）系统的性能可能会受到以前看不见的条件的严重影响，这通常是由于训练和测试分布之间的不匹配。在本文中，我们通过研究域不变特征来解决鲁棒性问题，使域信息对ASR系统透明，解决不匹配问题。具体来说，我们研究了最近的模型，称为因子化分层变分自编码器（FHVAE）。FHVAE学习在没有监督的情况下将序列级和段级属性分解为不同的潜变量。我们认为，包含段级信息的一组潜变量是我们所需的域不变的ASR功能。在Aurora-4和CHiME-4上进行了实验，在不匹配的域上分别显示出41%和27%的绝对字出错率降低。
2018-03-07 cs.CL cs.LG cs.SD
Unsupervised Speech Recognition via Segmental Empirical Output Distribution Matching
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑的问题，训练语音识别系统，而不使用任何标记的数据，假设学习者只能访问输入的话语和音素的语言模型估计从一个非重叠的语料库。我们提出了一种完全无监督的学习算法，该算法在解决两个子问题之间交替进行：（i）针对给定的音素分割边界集学习音素分类器，以及（ii）基于给定的分类器细化音素边界。为了解决第一个子问题，我们引入了一种新的无监督代价函数，称为分段经验输出分布匹配，其概括了（Liu et al.，2017年），为集团公司。对于第二子问题，我们开发了一种近似MAP方法来细化Wang et al.（2017）获得的边界。TIMIT数据集上的实验结果表明，这种完全无监督的音素识别系统是成功的，它实现了41.6%的音素错误率（PER）。虽然与现有的有监督系统相比仍有较大差距，但通过引入oracle边界和匹配语言模型，可以将PER提高到32.5%，接近于相同模型结构的有监督系统，显示了该方法的巨大潜力.
2018-12-23 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL（三菱电机研究实验室）
当训练数据域和测试数据域不匹配时，自动语音识别（ASR）系统的性能通常会显著下降。在本文中，我们表明，自训练（ST）结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST，这是一种基于辍学的不确定性驱动的自我训练技术，它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据，这导致与没有滤波的ST相比大大改善了ASR结果，并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明，高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Unsupervised Part-of-Speech Induction
University of Pittsburgh（匹兹堡大学）
词性标注是自然语言处理中一项古老而基础的工作。虽然监督POS标记器已经显示出有希望的准确性，但由于缺乏标记数据，使用监督方法并不总是可行的。在这个项目中，我们试图通过一个层次凝聚聚类过程迭代地寻找一个重复出现的单词模式，从而毫不奇怪地诱导POS标签。我们的方法显示出有前途的结果相比，国家的最先进的无监督POS标签的标记结果。
2018-01-10 cs.CL
Multilingual Part-of-Speech Tagging: Two Unsupervised Approaches
Massachusetts Institute of Technology（麻省理工学院）
我们证明了多语言学习对无监督词性标注的有效性。我们工作的核心假设是，通过结合多种语言的线索，每种语言的结构变得更加明显。我们考虑两种方法将这种直觉应用到无监督词性标注的问题：一种模型，直接合并一对语言的标签结构到一个单一的序列和第二个模型，而不是采用多语言的背景下使用潜变量。这两种方法都被制定为分层贝叶斯模型，使用马尔可夫链蒙特卡罗抽样技术进行推理。我们的研究结果表明，通过整合多语言证据，我们可以在一系列场景中实现令人印象深刻的性能提升。我们还发现，随着可用语言数量的增加，性能稳步提高。
2014-01-15 cs.CL
Unsupervised Domain Adaptation for Hate Speech Detection Using a Data Augmentation Approach
近年来，以仇恨言论形式出现的在线骚扰呈上升趋势。解决这个问题需要结合内容审核的人，由自动检测方法的帮助。由于内容审核本身对人们有害，我们希望通过改进仇恨言论的自动检测来减轻负担。仇恨言论提出了一个挑战，因为它是针对不同的目标群体使用完全不同的词汇。此外，仇恨言论的作者被鼓励掩饰他们的行为，以避免被从平台上删除。这使得很难开发一个全面的数据集来训练和评估仇恨言论检测模型，因为代表一个仇恨言论领域的例子通常不代表其他领域，即使在同一语言或文化中。我们提出了一种无监督的领域自适应方法来增强仇恨言论检测的标记数据。我们在三个不同的集合上使用三种不同的模型（字符CNN，BiLSTM和BERT）来评估该方法。我们的方法将精确率/召回率曲线下的面积提高了42%，召回率提高了278%，而精确率没有损失（在某些情况下有显着的提高）。
2021-07-31 cs.CL
An Unsupervised Probability Model for Speech-to-Translation Alignment of Low-Resource Languages
University of Notre Dame（圣母大学）；University of Melbourne（墨尔本大学）
对于许多低资源的语言，口语资源更有可能用翻译而不是translation来注释。翻译后的语音数据对于记录濒危语言或训练语音翻译系统具有潜在的价值。利用这些数据的第一步是自动将口语与其翻译对齐。我们提出了一个模型，结合戴尔等人。的IBM Model 2（快速对齐）和k-means聚类的重新参数化，使用Dynamic Time Warping作为距离度量。这两个组件使用期望最大化联合训练。在资源极其匮乏的情况下，我们的模型的表现明显优于神经模型和强基线。
2016-09-26 cs.CL
Online Updating of Word Representations for Part-of-Speech Tagging
LMU Munich（慕尼黑大学）；Cornell University（康奈尔大学）
我们提出了在线无监督领域自适应（DA），这是增量数据时，适用于批量DA是不可能的。在一个部分的语音（POS）标记评估，我们发现，在线无监督DA执行以及批量DA。
2016-04-02 cs.CL
Modelling the Lexicon in Unsupervised Part of Speech Induction
University of Oxford（牛津大学）
自动归纳文本中词的句法词性是计算语言学的一项基本任务。虽然无监督标记模型的性能一直在缓慢提高，但当前最先进的系统做出了明显错误的假设，即给定单词类型的所有标记必须共享单个词性标记。这种每种类型一个标签的启发式方法可以对抗基于隐马尔可夫模型的标签器为给定的单词类型过度生成标签的趋势。然而，它显然与基本句法理论不相容。在本文中，我们扩展了一个国家的最先进的Pitman-Yor隐马尔可夫模型标记与明确的模型的词汇。在这样做的时候，我们能够引入一个软偏置，以诱导每种类型的几个标签。我们开发了一个粒子滤波器，用于从我们的模型的后验中抽取样本，并给出了经验结果，表明我们的模型具有竞争力，并且比最先进的模型更快，而没有任何不切实际的限制。
2014-02-26 cs.CL
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
University of Edinburgh（爱丁堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在只有未标记语音数据可用的环境中，语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下，需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型，分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中，一个潜在的词段（任意长度）嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现，然后在该空间中构建全词声学模型，同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务，通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率，优于以前的HMM为基础的系统约10%的绝对。此外，与基线相比，我们的模型不需要预先指定的词汇量。
2016-03-09 cs.CL
Probing in the Wild: A Case Study of Self-Supervised Speech Representations on Mandarin Sub-dialects with Unsupervised Articulatory Analysis
blind Anonymous to ISCSLP 1 Fudan University, China 2 Logos \& Dialogos, US
本文通过无标注发音探测管道，研究自监督语音模型在普通话次方言中发音特征表示的结构性差异，发现唇音性和刺耳性等声学显著特征较稳定，而精细频谱特征因方言而异，且北京话可解码性更高。
2026-06-25 cs.CL
MetricGAN-U: Unsupervised speech enhancement/ dereverberation based only on noisy/ reverberated speech
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究院）；Microsoft（微软）
大多数基于深度学习的语音增强模型都是以监督的方式学习的，这意味着在训练期间需要成对的噪声和干净语音。因此，日常生活中记录的几个嘈杂的语音不能用于训练模型。虽然某些无监督学习框架也被提出来解决对约束，但它们仍然需要干净的语音或噪声进行训练。因此，在本文中，我们提出了MetricGAN-U，它代表MetricGAN-unsupervised，以进一步释放传统无监督学习的约束。在MetricGAN-U中，通过优化非侵入式语音质量指标，仅需要带噪语音来训练模型。实验结果验证了MetricGAN-U在客观和主观指标上都优于基线。
2021-10-12 cs.CL cs.SD eess.AS
