MetricGAN-U: Unsupervised speech enhancement/ dereverberation based only on noisy/ reverberated speech
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究院）；Microsoft（微软）
大多数基于深度学习的语音增强模型都是以监督的方式学习的，这意味着在训练期间需要成对的噪声和干净语音。因此，日常生活中记录的几个嘈杂的语音不能用于训练模型。虽然某些无监督学习框架也被提出来解决对约束，但它们仍然需要干净的语音或噪声进行训练。因此，在本文中，我们提出了MetricGAN-U，它代表MetricGAN-unsupervised，以进一步释放传统无监督学习的约束。在MetricGAN-U中，通过优化非侵入式语音质量指标，仅需要带噪语音来训练模型。实验结果验证了MetricGAN-U在客观和主观指标上都优于基线。
2021-10-12 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)（Meta基础人工智能研究院（FAIR））
用于训练语音任务模型的标记数据量对于大多数语言是有限的，然而，对于需要覆盖两种不同语言的标记数据的语音翻译，数据稀缺性加剧。为了解决这个问题，我们研究了一种简单而有效的方法来构建语音翻译系统，而无需标记数据，通过利用无监督语音识别，机器翻译和语音合成的最新进展，无论是在管道方法中，还是生成伪标签用于训练端到端的语音翻译模型。此外，我们提出了一个无监督领域自适应技术的预训练的语音模型，提高了下游无监督语音识别的性能，特别是对于低资源设置。实验表明，在Libri-Trans基准测试中，无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU，在CoVoST 2上，我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型（没有预训练）高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容，节奏，音高和音色来执行特定于方面的语音转换。然而，SpeechSplit需要仔细调整自动编码器瓶颈，这可能很耗时，而且不太可靠。本文提出了SpeechSplit 2.0，它约束的语音分量的信息流，使用有效的信号处理方法，而不是瓶颈调整的自动编码器输入解开。评估结果表明，SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
Speech Augmentation Based Unsupervised Learning for Keyword Spotting
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文研究了一种基于语音增强的无监督学习关键词识别方法。KWS是一个有用的语音应用程序，但也严重依赖于标记数据。我们设计了一个CNN-Attention架构来执行KWS任务。CNN层专注于局部声学特征，而注意力层对长时间依赖性进行建模。为了提高KWS模型的鲁棒性，我们还提出了一种无监督学习方法。无监督损失是基于原始和增强语音特征之间的相似性，以及音频重建信息。在无监督学习中，研究了两种语音增强方法：速度增强和强度增强。在Google Speech Commands V2数据集上的实验表明，我们的CNN-Attention模型具有竞争力的结果。此外，基于增强的无监督学习可以进一步提高KWS任务的分类精度。在我们的实验中，基于增强的无监督学习，我们的KWS模型实现了更好的性能比其他无监督的方法，如CPC，APC，MPC。
2022-05-28 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis
Toshiba Research Europe（东芝欧洲研究院）；Tohoku University（东北大学）；University of Sheffield（谢菲尔德大学）
本文提出利用无监督TTS从少量带口音语音生成合成数据以增强ASR训练，在Wav2vec2.0自监督框架下使词错误率相对降低最高达6.1%。
2024-07-04 cs.CL cs.SD eess.AS
Unsupervised Pre-training of Bidirectional Speech Encoders via Masked Reconstruction
Amazon Alexa（亚马逊Alexa）
我们提出了一种通过掩蔽重建损失来预训练语音表示的方法。我们的预训练编码器网络是双向的，因此可以直接用于典型的双向语音识别模型。然后，可以在较少量的监督数据上对预训练的网络进行微调，以用于语音识别。在LibriSpeech和华尔街日报语料库上的实验显示了良好的效果。我们发现，导致语音识别改进的主要因素是：掩蔽段的足够的宽度在时间和频率，预训练的大量未标记的数据比标记的数据，和域自适应时，未标记的和标记的数据来自不同的领域。来自预训练的增益是监督数据增强的增益的相加。
2020-05-05 cs.SD eess.AS
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing（帕德博恩并行计算中心）
在这项工作中，我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器：内容编码器和风格编码器。为了促进解纠缠，我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据，也不需要任何监督。我们表明，所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示，并显示竞争力的扬声器内容解纠缠性能相比，其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比，频谱特征，当用于电话识别。
2021-03-11 cs.SD eess.AS
Unsupervised Speech Enhancement using Data-defined Priors
本文提出双分支编码器-解码器与对抗训练框架，利用不成对干净语音和噪声数据定义先验，实现无监督语音增强，并揭示域内干净数据会导致性能评估过于乐观。
2025-09-26 cs.AI cs.SD eess.AS
Remix-cycle-consistent Learning on Adversarially Learned Separator for Accurate and Stable Unsupervised Speech Separation
Waseda University（早稻田大学）
设计了一种新的语音分离网络学习算法，以无监督的方式显式地减少分离信号中的残留噪声和伪影。生成对抗网络是已知的有效构建分离网络时，观察到的信号的地面真相是不可访问的。尽管如此，针对分布到分布映射的弱目标使得学习不稳定并限制了它们的性能。本研究引入了混音周期一致性损失作为一个更合适的目标函数，并使用它来微调对抗学习源分离模型。混音周期一致性损失被定义为在麦克风处观察到的混合语音与通过交替分离混合声音并将其输出与另一组合进行混音的过程而获得的伪混合语音之间的差异。这种损失的最小化导致分离网络的输出中的失真的显式减少。与多通道语音分离的实验比较表明，该方法具有较高的分离精度和学习稳定性，可与监督学习相媲美。
2022-03-26 cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用，这些模型对各种SLU任务都有合理的改进。然而，由于语音信号和文本标记之间的不匹配模态，以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式，它连接语音和文本预训练模型，从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说，我们建议使用无监督自动语音识别（ASR）作为连接器，连接语音和文本预训练模型中使用的不同模态。我们的实验表明，无监督ASR本身可以改善语音自监督模型的表示。更重要的是，它被证明是语音和文本预训练模型之间的有效连接器，提高了五种不同SLU任务的性能。值得注意的是，在口语问答方面，我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法，利用掩码语言模型校正离散语音单元，并通过小型适配器微调预训练模型，从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
Pronunciation Dictionary-Free Multilingual Speech Synthesis by Combining Unsupervised and Supervised Phonetic Representations
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）
提出了一种结合无监督语音表示（UPR）和有监督语音表示（SPR）的多语种语音合成方法，避免了对目标语言发音词典的依赖。该方法采用预先训练好的wav 2 vec 2.0模型提取不确定性特征，采用连接主义时态分类（CTC）损失建立与语言无关的自动语音识别（LI-ASR）模型，从目标语言的音频数据中提取分段级的自动语音识别。然后，设计了一个声学模型，该模型首先从文本中分别预测UPR和SPR，然后组合预测的UPR和SPR以生成梅尔谱图。六种语言的实验结果表明，所提出的方法优于直接预测的方法，从字符或音素序列和消融模型，仅利用UPR或SPR的梅尔频谱图。
2022-06-02 cs.SD eess.AS
Unsupervised speech enhancement with spectral kurtosis and double deep priors
National Institute of Technology, Tokuyama College（德山工业高等专门学校）
本文提出一种基于谱峭度和双重深度先验的无监督语音增强方法，利用两个DNN分别生成干净语音与噪声以分解含噪信号，从而规避传统方法的权衡与早停问题，并在白高斯及环境噪声下取得更优性能。
2024-07-04 cs.SD eess.AS
Unsupervised speech enhancement with deep dynamical generative speech and noise models
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）
该研究针对无监督语音增强任务，提出用深度动态生成模型（DDGM）替代传统非负矩阵分解噪声模型，支持三种训练配置，在性能比肩现有最优无监督方法的同时，噪声依赖训练配置可显著提升推理时间效率。
2023-06-13 cs.LG cs.SD eess.AS
A Brief Overview of Unsupervised Neural Speech Representation Learning
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Corti；Pioneer Centre for AI（AI先锋中心）
在过去的几年里，用于语音处理的无监督表示学习已经非常成熟。计算机视觉和自然语言处理方面的工作已经铺平了道路，但语音数据带来了独特的挑战。因此，来自其他域的方法很少直接转换。我们回顾了过去十年来语音无监督表示学习的发展。我们确定了两个主要的模型类别：自我监督的方法和概率潜变量模型。我们描述了模型，并制定了一个全面的分类。最后，我们讨论和比较两类模型。
2022-03-01 cs.LG cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Unsupervised Active Learning: Optimizing Labeling Cost-Effectiveness for Automatic Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
该研究结合自监督学习与主动学习，通过无监督提取不同粒度语音单元并采用对比数据选择框架，有效提升ASR的标注成本效益，实现同标注量下WER降超11%或同WER下标注成本减半。
2023-08-28 cs.SD eess.AS
Unified Architecture and Unsupervised Speech Disentanglement for Speaker Embedding-Free Enrollment in Personalized Speech Enhancement
Shanghai Engineering Research Center of Intelligent Education and Bigdata, Shanghai Normal University（智能教育与大数据上海工程研究中心，上海师范大学）；SHNU-Unisound Natural Human-Computer Interaction Lab, Shanghai Normal University（上海师范大学Unisound人机交互实验室）；Unisound AI Technology Co., Ltd.（Unisound人工智能技术有限公司）
研究针对传统语音增强与个性化语音增强任务面临的挑战，提出USEF-PNet和DSEF-PNet新模型，前者统一架构提升性能简化部署，后者用无监督语音解缠提高鲁棒性，还探索注册配对策略，实验表明新模型性能显著提升。
2026-07-14 cs.SD eess.AS
On Investigation of Unsupervised Speech Factorization Based on Normalization Flow
Tsinghua University（清华大学）
语音信号是各种信息的复杂组合，包括语音内容、说话人特征、信道效应等。将这种复杂的混合物分解成独立的因素，即，语音因子分解在现代语音处理任务的许多重要算法中具有根本的重要性并起着核心作用。在本文中，我们提出了一个初步的研究基于规范化流模型的无监督语音分解。该模型构造了一个复杂的可逆变换，通过该变换，我们可以将语音段投影到一个潜在的代码空间，其中分布是一个简单的对角高斯。对TIMIT数据库的初步研究表明，该码空间具有良好的稠密性和伪线性等特性，语音内容和说话人特征等重要的感知因素可以在码空间中表示为特定的方向。
2019-10-29 cs.LG cs.SD eess.AS
Unsupervised Training for Deep Speech Source Separation with Kullback-Leibler Divergence Based Probabilistic Loss Function
LINE Corporation（LINE公司）
在本文中，我们提出了一种使用深度神经网络（DNN）的多通道语音源分离，该网络在没有干净信号的情况下进行训练。作为一个干净的信号的替代方案，所提出的方法采用一个无监督的语音源分离与统计模型的估计语音信号。作为麦克风输入信号的统计模型，我们采用时变空间协方差矩阵（SCM）模型，其中包括混响和背景噪声的子模型，以实现对混响和背景噪声的鲁棒性。DNN推断构造时变SCM所需的中间变量。语音源分离是以概率的方式进行的，以避免过拟合分离误差。由于存在多个中间变量，因此评估单个中间变量的损失函数不适用。相反，所提出的方法采用损失函数直接基于Kullback-Leibler散度（KLD）评估输出概率信号。损失函数的梯度可以通过所有中间变量反向传播到DNN中。混响条件下的实验结果表明，该方法可以有效地训练DNN，即使当训练话语的数量很小时，即，一千
2019-11-11 cs.SD eess.AS
Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech
NTT Corporation（日本电报电话公司）
最近，我们提出了一种新的说话人日志化方法，称为端到端神经日志化向量聚类（EEND-vector clustering），它将基于聚类和端到端神经网络的日志化方法集成到一个框架中。所提出的方法结合了两个框架的优点，即高的日记化性能和处理重叠的语音的基础上的EEND，和鲁棒的处理长录音与任意数量的扬声器基于聚类的方法。然而，到目前为止，该方法仅在模拟的2扬声器会议类数据上进行了评估。本文将（1）报告我们对该框架所做的最新进展，包括新引入的鲁棒约束聚类算法，以及（2）实验表明，该方法现在可以显着优于竞争性的日志化方法，如编码器-解码器吸引子（EDA）-EEND，在CALLHOME数据上，该数据包括真实的会话语音数据，包括重叠语音和任意数量的扬声器。通过对实验结果的进一步分析，本文还讨论了该方法的优缺点，并揭示了进一步改进的潜力。在https://github.com/nttcslab-sp/EEND-vector-clustering上可以找到一组重现结果的代码。
2021-08-31 cs.SD eess.AS
Unsupervised Single-Channel Speech Separation with Diffusion under Speaker-Embedding Guidance
Institute of Science Tokyo（东京科学研究所）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）
该研究针对无监督单通道语音分离问题，提出说话人嵌入引导与分离导向求解器，提升了基于源模型的无监督语音分离性能。
2026-08-03 cs.SD eess.AS
Improving Transformer-based Speech Recognition Using Unsupervised Pre-training
AI Labs, Didi Chuxing（滴滴出行人工智能实验室）
语音识别技术在各种工业应用中越来越普及。为了解决语音识别系统需要大量转录数据的问题，提出了一种基于Transformer模型的无监督预训练方法Masked Predictive Coding。在香港科技大学的实验表明，使用相同的训练数据，我们可以实现CER 23.3%，超过最好的端到端模型的绝对CER超过0.2%。有了更多的预训练数据，我们可以进一步将CER降低到21.0%，或者相对于基线降低11.8%。
2019-10-31 cs.CL cs.SD eess.AS
Unsupervised Representation Learning with Future Observation Prediction for Speech Emotion Recognition
National Laboratory of Pattern Recognition, CASIA, Beijing, China（中国科学院自动化研究所模式识别国家重点实验室，北京，中国）；CAS Center for Excellence in Brain Science and Intelligence Technology, Beijing, China（中国科学院脑科学与智能技术卓越创新中心，北京，中国）；School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院，北京，中国）
语音情感识别的现有工作利用各种无监督学习方法来处理低资源样本。然而，这些方法没有注意到长期的动态依赖性，这是语音情感识别的重要建模。为了解决这个问题，本文将无监督表示学习策略-未来观察预测（FOP）与迁移学习方法（如微调和Hypercolumns）相结合。为了验证该方法的有效性，我们在IEMOCAP数据库上进行了实验。实验结果表明，我们的方法优于目前先进的无监督学习策略。
2019-10-24 cs.LG cs.SD eess.AS
Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency
Sony Europe B.V.（索尼欧洲有限公司）
近年来，基于生成对抗网络（GAN）的模型已经成功地应用于无监督语音到语音转换，而幅度谱图丰富紧凑的谐波视图被认为是用音频数据训练这些模型的合适选择。为了重建语音信号，首先由神经网络生成幅度谱图，然后由Griffin-Lim算法等方法利用该幅度谱图来重建相位谱图。该过程存在生成的幅度谱图可能不一致的问题，这是找到相位所需的，使得完整的谱图具有听起来自然的语音波形。在这项工作中，我们通过提出一个在对抗训练过程中鼓励谱图一致性的条件来解决这个问题。我们展示了我们的方法上的任务翻译的声音的男性发言者的女性发言者，反之亦然。我们的实验结果表明，与TF一致性训练的模型提供了一个更好的语音到语音转换的感知质量。
2020-05-19 cs.LG cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Posterior Transition Modeling for Unsupervised Diffusion-Based Speech Enhancement
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用研究所）
本文提出两种直接建模条件反向转移分布的无监督扩散语音增强算法，分别消除超参数调优并实现精确似然得分，在WSJ0-QUT和VoiceBank-DEMAND上优于现有基线。
2025-07-03 cs.LG cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Google LLC（谷歌有限责任公司）
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括：（1）捕获每帧信息的局部编码器;（2）捕获每话语信息的全局编码器;以及（3）在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明：（1）局部隐变量对语音内容进行编码，即使采用不同的全局编码，重构语音也能以较低的词出错率（WER）被ASR识别;（2）全局隐变量对说话人风格进行编码，重构语音与全局编码的源话语具有说话人身份。此外，我们展示了一个有用的应用程序，从我们的预训练模型，我们可以训练的说话人识别模型的全球潜在变量，并实现高精度的微调与尽可能少的数据，每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition with N-Skipgram and Positional Unigram Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；KAIST（韩国科学技术院）
针对无监督语音识别训练中GAN不稳定、音文不对齐及内存需求大的问题，提出结合低阶N-skipgram与位置一元语法统计的ESPUM系统，在TIMIT基准上取得有竞争力的ASR和音素分割性能，且代码已开源。
2023-10-03 cs.CL cs.SD eess.AS
Unsupervised Speech Enhancement using Dynamical Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心）；Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
动态变分自编码器（DVAE）是一类具有潜在变量的深度生成模型，专用于对高维数据的时间序列进行建模。DVAE可以被认为是变分自编码器（VAE）的扩展，其包括连续的观测向量和/或潜在向量之间的时间依赖性。以前的工作表明，使用DVAE的语音频谱图建模的VAE的兴趣。独立地，VAE已经成功地应用于噪声中的语音增强，在无监督的噪声不可知的设置中，在训练时间既不需要噪声样本也不需要有噪声的语音样本，而只需要干净的语音信号。在本文中，我们将这些工作扩展到基于DVAE的单通道无监督语音增强，从而利用语音信号无监督表示学习和动态建模。我们提出了一种无监督的语音增强算法，结合了DVAE语音事先预先训练干净的语音信号与噪声模型的基础上非负矩阵分解，我们推导出一个变分期望最大化（VEM）算法进行语音增强。该算法提出了最一般的DVAE制定，然后应用三个具体的DVAE模型来说明框架的多功能性。实验结果表明，所提出的基于DVAE的方法优于其基于VAE的方法，以及几个监督和无监督的噪声相关基线，特别是当噪声类型在训练过程中是不可见的。
2022-09-30 cs.AI cs.LG cs.SD
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition
Facebook AI（脸书人工智能）；Google AI（谷歌人工智能）
尽管在最近的过去取得了快速的进步，但是当前的语音识别系统仍然需要标记的训练数据，这将该技术限制在全球所讲语言的一小部分。本文介绍了wav 2 vec-U，简称wav 2 vec无监督，训练语音识别模型没有任何标记的数据的方法。我们利用自我监督的语音表示来分割未标记的音频，并通过对抗训练来学习从这些表示到音素的映射。正确的表示是我们方法成功的关键。与之前最好的无监督工作相比，wav 2 vec-U将TIMIT基准测试中的音素出错率从26.1降低到11.3。在更大的英语Libripeech基准测试中，wav 2 vec-U在test-other上实现了5.9的单词出错率，与两年前在960小时的标记数据上训练的一些最好的已发布系统相媲美。我们还在其他九种语言上进行了实验，包括吉尔吉斯语、斯瓦希里语和鞑靼语等低资源语言。
2022-05-02 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Evaluating context-invariance in unsupervised speech representations
University of Toronto（多伦多大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性，并证明上下文无关性可预测词级表示稳定性，建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
儿童语音的声学建模是具有挑战性的，因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中，我们提出了一种特征自适应方法，通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone（绑定三音素状态）水平的声学不匹配，并利用大量转录的成人语音。我们验证所提出的方法上的三个任务：儿童语音识别，儿童发音评估，和儿童流畅度分数预测。实证结果表明，我们提出的方法始终优于竞争基线，实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.（谷歌公司）
本文提出口音聚类与挖掘方案，结合预训练、分布鲁棒优化和无监督聚类，在挖掘出的印度口音语音上微调ASR，相对随机采样分别提升10.0%和5.3%，实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入，这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标，在长达9500小时的抓取英语语音数据上对嵌入进行了训练，而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入，并在说话人比较，话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估，将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
Unsupervised Speech Decomposition via Triple Information Bottleneck
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
语音信息可以大致分解为四个组成部分：语言内容、音色、音高和节奏。获得这些分量的解纠缠表示在许多语音分析和生成应用中是有用的。最近，国家的最先进的语音转换系统已经导致语音表示，可以解开扬声器相关和独立的信息。然而，这些系统只能解开音色，而有关音高，节奏和内容的信息仍然混合在一起。在没有针对每个分量的明确注释的情况下，进一步解开剩余的语音分量是欠确定的问题，这是难以获得且昂贵的。在本文中，我们提出了SpeechSplit，它可以通过引入三个精心设计的信息瓶颈，将语音盲分解为四个组成部分。SpeechSplit是第一个可以在没有文本标签的情况下单独对音色、音高和节奏进行风格转换的算法。我们的代码可在https://github.com/auspicious3000/SpeechSplit上公开获取。
2021-03-13 cs.LG cs.SD eess.AS
Deep Encoder-Decoder Models for Unsupervised Learning of Controllable Speech Synthesis
National Institute of Informatics（国立信息学研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）；University of Edinburgh（爱丁堡大学）
生成通用且适当的合成语音需要控制与口语文本分离的输出表达。重要的非文本语音变化很少被注释，在这种情况下，输出控制必须以无监督的方式学习。本文对统计语音合成中的无监督学习控制方法进行了深入的研究。例如，我们证明了流行的无监督训练算法可以被解释为某些自动编码器模型中的变分推理。我们还将这些模型连接到VQ-VAE，这是最近提出的另一类深度变分自编码器，我们表明它可以从非常相似的数学论证中推导出来。这些新的概率解释的影响进行了讨论。我们说明了各种方法的实用性与应用程序的声学建模的情感语音合成，学习表达控制的无监督的方法（没有访问情感标签）被发现在许多方面匹配或超过以前的最佳监督方法的结果。
2018-09-09 cs.LG cs.SD eess.AS
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
在本文中，我们提出了一个顺序表示量化自动编码器（SeqRQ-AE）学习主要是不成对的音频数据，并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割，使表示音素同步，和适当的语音聚类，有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明，学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中，我们的方法在音素识别方面优于现有方法，并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin（都柏林大学学院）
自动语音识别（ASR）系统在转录来自未知域的音频时，转录质量显著降低。我们提出了一种无监督的错误校正方法，用于无监督的ASR域自适应，旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同，我们的方法只需要目标域的未标记数据，其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合，我们还提出了一个编码器-解码器校正模型，该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明，我们的方法获得了显着的字出错率（WER）降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上，相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
Unsupervised Noise Adaptive Speech Enhancement by Discriminator-Constrained Optimal Transport
The Cooperative Institute for Research in Environmental Sciences (CIRES)（环境科学合作研究所）；University of Colorado（科罗拉多大学）；NOAA Physical Sciences Laboratory（美国国家海洋和大气管理局物理科学实验室）；Research Center for Information Technology Innovation（资讯科技创新研究中心）；Academia Sinica（中央研究院）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构）
本文提出了一种新的鉴别器约束的最优传输网络（DOTN），执行无监督的领域自适应语音增强（SE），这是一个重要的回归语音处理任务。DOTN的目标是通过利用从源域可用的知识来估计目标域中的噪声语音的干净参考。据报道，训练和测试数据之间的域转移是不同领域学习问题的障碍。虽然存在丰富的文献无监督领域自适应的分类，提出的方法，特别是在回归，仍然很少，往往依赖于额外的信息有关的输入数据。所提出的DOTN方法在战术上将数学分析中的最优传输（OT）理论与生成对抗框架相融合，以帮助评估目标域中的连续标签。两个SE任务的实验结果表明，通过扩展经典的OT公式，我们提出的DOTN优于以前的对抗性领域自适应框架在一个纯粹的无监督的方式。
2021-11-11 cs.LG cs.SD eess.AS
An Unsupervised Autoregressive Model for Speech Representation Learning
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的无监督自回归神经模型学习通用语音表示。与其他旨在去除噪声或说话人可变性的语音表示学习方法相比，我们的方法旨在为广泛的下游任务保留信息。此外，该模型不需要任何语音或词边界标签，使该模型能够受益于大量未标记的数据。通过我们的模型学习的语音表示显著提高了电话分类和说话人验证的性能，超过了表面特征和其他监督和无监督方法。进一步的分析表明，我们的模型在不同层捕获了不同级别的语音信息。特别是，较低的层往往对说话者更具辨别力，而较高的层提供更多的语音内容。
2019-06-19 cs.CL cs.LG cs.SD
SLMGAN: Exploiting Speech Language Model Representations for Unsupervised Zero-Shot Voice Conversion in GANs
Columbia University（哥伦比亚大学）
该研究提出SLMGAN方法，以StarGANv2-VC为基础加入基于SLM的WavLM判别器和SLM特征匹配损失，实现无监督零样本语音转换，自然度优于现有SOTA模型且相似度相当。
2023-07-18 cs.AI cs.SD eess.AS
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon Alexa（亚马逊Alexa）
语音情感识别是实现更自然的人机交流的关键技术。然而，SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题，我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明，对比预测编码（CPC）方法可以学习显着表示从未标记的数据集，这提高了情感识别性能。在我们的实验中，这种方法实现了最先进的一致性相关系数（CCC）的性能，所有的情绪原语（激活，效价，和优势）IEMOCAP。此外，在MSP-Podcast数据集上，与基线相比，我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
Unsupervised Classification of Voiced Speech and Pitch Tracking Using Forward-Backward Kalman Filtering
Bucknell University（巴克内尔大学）
浊音语音的检测、基频的估计以及基音值随时间的跟踪是各种语音处理技术的关键子任务。许多不同的算法已经开发了三个子任务。我们提出了一个新的算法，将这三个子任务集成到一个单一的过程。该算法可以应用于预先录制的语音发声在存在大量的背景噪声。我们结合了一系列标准指标，如过零率，例如，制定一个无监督的发声分类。基音值的估计是用基于混合自相关的技术来完成的。我们提出了一个前向-后向卡尔曼滤波器来平滑估计的基音轮廓。在实验中，我们能够表明，所提出的方法相比，目前，国家的最先进的基音检测算法。
2021-03-01 cs.LG cs.SD eess.AS
Improving Cascaded Unsupervised Speech Translation with Denoising Back-translation
National Taiwan University（国立台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出去噪反向翻译方法构建无监督级联语音翻译系统，在CoVoST 2和CVSS上取得与早期监督方法相当的结果，并将BLEU分数提升0.7--0.9。
2023-05-12 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法，可处理情绪、说话人等多种声学—语义风格变化，并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR
National Taiwan University（台湾大学）
本文提出REBORN，一种通过强化学习交替训练语音边界分割模型和音素预测模型的无监督ASR方法，在多个数据集上超越现有模型。
2024-11-15 cs.CL cs.SD eess.AS
Unsupervised speech enhancement with diffusion-based generative models
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文首次提出基于扩散生成模型的无监督语音增强方法，在STFT域学习干净语音先验，并通过EM迭代结合噪声模型进行后验采样，性能优于VAE无监督方法和监督扩散方法。
2023-09-19 cs.CV cs.SD eess.AS
