Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis
Toshiba Research Europe(东芝欧洲研究院);Tohoku University(东北大学);University of Sheffield(谢菲尔德大学)
本文提出利用无监督TTS从少量带口音语音生成合成数据以增强ASR训练,在Wav2vec2.0自监督框架下使词错误率相对降低最高达6.1%。
2024-07-04 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法,可处理情绪、说话人等多种声学—语义风格变化,并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN, Center for Advanced Intelligence Project AIP(理化学研究所先进智能项目中心)
在本文中,我们报告了我们在2019年赛道上提交的ZeroSpeech 2020挑战系统。这个挑战的主题是建立一个没有任何文本信息或语音标签的语音合成器。为了应对这些挑战,我们构建了一个系统,该系统必须解决两个主要组件,例如1)给定语音音频,以无监督的方式提取子字单元,2)重新合成来自新扬声器的音频。系统还需要在ABX出错率和比特率压缩率之间平衡码本性能。我们在这里的主要贡献是,我们提出了基于变换器的VQ-VAE的无监督单元发现和基于变换器的逆变器的语音合成给定提取的码书。此外,我们还探索了几种正则化方法来进一步提高性能。
2020-05-24 cs.CL cs.LG cs.SD
Enhancing Unsupervised Speech Recognition with Diffusion GANs
NVIDIA(英伟达)
我们通过扩散GAN增强了无监督自动语音识别(ASR)的香草对抗训练方法。我们的模型(1)将各种强度的实例噪声注入到生成器的输出和未标记的参考文本中,这些参考文本是从具有长度约束的预训练音素语言模型中采样的,(2)要求扩散时间步长相关的鉴别器将它们分离,以及(3)反向传播梯度以更新生成器。单词/音素出错率比较与wav 2 vec-U在Librispeech(3.1%的测试清洁和5.6%的测试其他),TIMIT和MLS数据集,表明我们的增强策略有效地工作。
2023-03-23 cs.CL cs.LG cs.SD
Towards End-to-end Unsupervised Speech Recognition
Meta AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
无监督语音识别显示出巨大的潜力,使自动语音识别(ASR)系统可访问的每一种语言。然而,现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似,我们引入了wav 2 vec-U 2.0,它取消了所有音频端的预处理,并通过更好的架构提高了准确性。此外,我们引入了一个辅助的自监督目标,将模型预测与输入联系起来。实验表明,wav 2 vec-U 2.0改进了不同语言的无监督识别结果,同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用,这些模型对各种SLU任务都有合理的改进。然而,由于语音信号和文本标记之间的不匹配模态,以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式,它连接语音和文本预训练模型,从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说,我们建议使用无监督自动语音识别(ASR)作为连接器,连接语音和文本预训练模型中使用的不同模态。我们的实验表明,无监督ASR本身可以改善语音自监督模型的表示。更重要的是,它被证明是语音和文本预训练模型之间的有效连接器,提高了五种不同SLU任务的性能。值得注意的是,在口语问答方面,我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
An elitist approach for extracting automatically well-realized speech sounds with high confidence
本文提出了一种“精英主义方法”,用于自动提取具有高置信度的良好实现的语音。精英方法使用基于隐马尔可夫模型(HMM)的语音识别系统。HMM是在语音上训练的,语音在迭代过程中被系统地检测到。结果表明,通过使用在训练阶段定义的HMM模型,语音识别器可靠地检测到特定的语音声音,错误率很小。
2005-11-22 cs.CL
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo(纽约州立大学布法罗分校)
针对儿童语音ASR缺乏高质量对齐数据的问题,提出灵活自动语音对齐工具FASA,从含噪数据中提取高质量对齐儿童语音,在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras(印度理工学院马德拉斯分校)
自动语音识别是模式识别中的一个难题,因为语音输入中存在多种可变性来源,例如通道变化,输入可能是干净的或有噪声的,说话者可能具有不同的口音和性别变化等。因此,域自适应在语音识别中很重要,其中我们训练特定源域的模型,并在不同的目标域上对其进行测试。在本文中,我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验,使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
A Theory of Unsupervised Speech Recognition
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea Advanced Institute of Science Technology(韩国科学技术院)
针对无监督语音识别缺乏理论框架的问题,本文提出基于随机矩阵理论和神经正切核的通用理论框架,证明了相关可学习性条件与样本复杂度界,并通过合成语言实验提供了实证支持。
2023-06-09 cs.CL cs.LG cs.SD
Towards Unsupervised Speech-to-Text Translation
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个框架,用于建立语音到文本翻译(ST)系统,只使用单语语音和文本语料库,换句话说,从一个源语言和独立的文本从一个目标语言的语音话语。与传统的级联系统和端到端架构相反,我们的系统不需要任何标记数据(即,训练期间转录的源音频或并行源和目标文本语料库),使其特别适用于双语资源很少甚至为零的语言对。该框架利用从单语语料库中推断出的跨模态双语词典来支持ST系统,该词典将对应于口语单词的每个源语音段映射到其目标文本翻译。对于看不见的源语音话语,系统首先对话语中的每个语音段执行逐字翻译。通过利用语言模型和序列去噪自动编码器来提供关于目标语言的先验知识来改进翻译。实验结果表明,尽管缺乏监督,我们的无监督系统实现了与监督端到端模型相当的BLEU分数。我们还提供消融分析来检查我们系统中每个组件的实用性。
2018-11-04 cs.CL cs.LG cs.SD
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY(纽约市立大学研究生中心);Microsoft Research(微软研究院)
语音增强最近通过各种深度学习方法取得了巨大成功。然而,大多数传统的语音增强系统是用监督方法训练的,这带来了两个重大挑战。首先,用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时,在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次,在提高语音增强性能和降低语音识别(ASR)性能之间存在权衡。因此,我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明,该函数有效地提高了语音增强的性能相比,在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线,但通过联合超级和无监督训练,系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Improving Transformer-based Speech Recognition Using Unsupervised Pre-training
AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
语音识别技术在各种工业应用中越来越普及。为了解决语音识别系统需要大量转录数据的问题,提出了一种基于Transformer模型的无监督预训练方法Masked Predictive Coding。在香港科技大学的实验表明,使用相同的训练数据,我们可以实现CER 23.3%,超过最好的端到端模型的绝对CER超过0.2%。有了更多的预训练数据,我们可以进一步将CER降低到21.0%,或者相对于基线降低11.8%。
2019-10-31 cs.CL cs.SD eess.AS
Unsupervised Cross-lingual Representation Learning for Speech Recognition
Facebook AI(脸书人工智能)
本文介绍了XLSR,它通过从多种语言的语音原始波形中预训练单个模型来学习跨语言的语音表示。我们建立在wav 2 vec 2.0的基础上,通过在掩蔽的潜在语音表示上解决对比任务来训练wav 2 vec 2.0,并联合学习跨语言共享的潜在语音的量化。由此产生的模型在标记数据上进行了微调,实验表明,跨语言预训练显着优于单语预训练。在CommonVoice基准测试中,XLSR显示与最佳已知结果相比,相对音素出错率降低了72%。在BABEL,我们的方法提高了字出错率16%,相对于可比系统。我们的方法使一个单一的多语言语音识别模型,这是强大的个人模型的竞争力。分析表明,潜在的离散语音表示共享跨语言增加共享相关的语言。我们希望通过发布XLSR-53来促进低资源语音理解的研究,XLSR-53是一个用53种语言预训练的大型模型。
2020-12-15 cs.CL cs.LG cs.SD
Unsupervised Speech Recognition via Segmental Empirical Output Distribution Matching
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
我们考虑的问题,训练语音识别系统,而不使用任何标记的数据,假设学习者只能访问输入的话语和音素的语言模型估计从一个非重叠的语料库。我们提出了一种完全无监督的学习算法,该算法在解决两个子问题之间交替进行:(i)针对给定的音素分割边界集学习音素分类器,以及(ii)基于给定的分类器细化音素边界。为了解决第一个子问题,我们引入了一种新的无监督代价函数,称为分段经验输出分布匹配,其概括了(Liu et al.,2017年),为集团公司。对于第二子问题,我们开发了一种近似MAP方法来细化Wang et al.(2017)获得的边界。TIMIT数据集上的实验结果表明,这种完全无监督的音素识别系统是成功的,它实现了41.6%的音素错误率(PER)。虽然与现有的有监督系统相比仍有较大差距,但通过引入oracle边界和匹配语言模型,可以将PER提高到32.5%,接近于相同模型结构的有监督系统,显示了该方法的巨大潜力.
2018-12-23 cs.CL cs.LG cs.SD
Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency
Sony Europe B.V.(索尼欧洲有限公司)
近年来,基于生成对抗网络(GAN)的模型已经成功地应用于无监督语音到语音转换,而幅度谱图丰富紧凑的谐波视图被认为是用音频数据训练这些模型的合适选择。为了重建语音信号,首先由神经网络生成幅度谱图,然后由Griffin-Lim算法等方法利用该幅度谱图来重建相位谱图。该过程存在生成的幅度谱图可能不一致的问题,这是找到相位所需的,使得完整的谱图具有听起来自然的语音波形。在这项工作中,我们通过提出一个在对抗训练过程中鼓励谱图一致性的条件来解决这个问题。我们展示了我们的方法上的任务翻译的声音的男性发言者的女性发言者,反之亦然。我们的实验结果表明,与TF一致性训练的模型提供了一个更好的语音到语音转换的感知质量。
2020-05-19 cs.LG cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield(谢菲尔德大学)
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中,我们利用一个无监督的不确定性估计方法来预测语音清晰度,它不需要清晰度标签或参考信号来训练预测器。我们的实验表明,国家的最先进的端到端的自动语音识别(ASR)模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估,结果表明,ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong(香港中文大学)
本研究解决的问题,从未转录的音频档案,而不需要逐字语音转录的自动语音识别(ASR)技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义,包括那些涉及低资源语言,以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法,其中包括无监督的声学建模和解码,其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型,给定的音频档案由伪转录表示,可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模,使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明,该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Posterior Transition Modeling for Unsupervised Diffusion-Based Speech Enhancement
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用研究所)
本文提出两种直接建模条件反向转移分布的无监督扩散语音增强算法,分别消除超参数调优并实现精确似然得分,在WSJ0-QUT和VoiceBank-DEMAND上优于现有基线。
2025-07-03 cs.LG cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Massachusetts Institute of Technology (MIT)(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出词级无监督 ASR 方向,通过联合语音与文本掩码 token 填充去除发音词典依赖,迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University(斯泰伦博斯大学);The University of Edinburgh(爱丁堡大学)
对于我们提交的ZeroSpeech 2019挑战,我们将离散潜变量神经网络应用于未标记的语音,并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器(AE)架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时,单元发现从一个看不见的扬声器的语音进行,然后由一个已知的目标扬声器单元解码条件,以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化,分类变分自编码器(CatVAE),矢量量化的VAE(VQ-VAE)和直通估计进行了比较,在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码,VQ-VAE离散化,解卷积解码和FFTNet声码器。我们表明,解耦扬声器调节本质上提高了离散的声学表示,产生竞争力的合成质量相比,挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Unsupervised Learning of Disentangled Speech Content and Style Representation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Google LLC(谷歌有限责任公司)
我们提出了一种无监督学习的语音表示解开内容和风格的方法。我们的模型包括:(1)捕获每帧信息的局部编码器;(2)捕获每话语信息的全局编码器;以及(3)在给定局部和全局潜在变量的情况下重构语音的条件解码器。实验结果表明:(1)局部隐变量对语音内容进行编码,即使采用不同的全局编码,重构语音也能以较低的词出错率(WER)被ASR识别;(2)全局隐变量对说话人风格进行编码,重构语音与全局编码的源话语具有说话人身份。此外,我们展示了一个有用的应用程序,从我们的预训练模型,我们可以训练的说话人识别模型的全球潜在变量,并实现高精度的微调与尽可能少的数据,每个扬声器一个标签。
2021-06-20 cs.CL cs.SD eess.AS
Unsupervised Speech Recognition with N-Skipgram and Positional Unigram Matching
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);KAIST(韩国科学技术院)
针对无监督语音识别训练中GAN不稳定、音文不对齐及内存需求大的问题,提出结合低阶N-skipgram与位置一元语法统计的ESPUM系统,在TIMIT基准上取得有竞争力的ASR和音素分割性能,且代码已开源。
2023-10-03 cs.CL cs.SD eess.AS
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin(都柏林大学学院)
自动语音识别(ASR)系统在转录来自未知域的音频时,转录质量显著降低。我们提出了一种无监督的错误校正方法,用于无监督的ASR域自适应,旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同,我们的方法只需要目标域的未标记数据,其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合,我们还提出了一个编码器-解码器校正模型,该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明,我们的方法获得了显着的字出错率(WER)降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上,相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
Unsupervised Speech Recognition
Facebook AI(脸书人工智能);Google AI(谷歌人工智能)
尽管在最近的过去取得了快速的进步,但是当前的语音识别系统仍然需要标记的训练数据,这将该技术限制在全球所讲语言的一小部分。本文介绍了wav 2 vec-U,简称wav 2 vec无监督,训练语音识别模型没有任何标记的数据的方法。我们利用自我监督的语音表示来分割未标记的音频,并通过对抗训练来学习从这些表示到音素的映射。正确的表示是我们方法成功的关键。与之前最好的无监督工作相比,wav 2 vec-U将TIMIT基准测试中的音素出错率从26.1降低到11.3。在更大的英语Libripeech基准测试中,wav 2 vec-U在test-other上实现了5.9的单词出错率,与两年前在960小时的标记数据上训练的一些最好的已发布系统相媲美。我们还在其他九种语言上进行了实验,包括吉尔吉斯语、斯瓦希里语和鞑靼语等低资源语言。
2022-05-02 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
最近的研究表明,从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发,在本文中,我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐,这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间,并尝试通过对抗训练来对齐这两个空间,然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译,这两项任务的结果表明,我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别(ASR)和语音到文本翻译系统特别有用,这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型,但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Evaluating context-invariance in unsupervised speech representations
University of Toronto(多伦多大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(社会科学高等学院);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性,并证明上下文无关性可预测词级表示稳定性,建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入,这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标,在长达9500小时的抓取英语语音数据上对嵌入进行了训练,而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入,并在说话人比较,话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估,将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
在本文中,我们提出了一个顺序表示量化自动编码器(SeqRQ-AE)学习主要是不成对的音频数据,并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割,使表示音素同步,和适当的语音聚类,有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明,学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中,我们的方法在音素识别方面优于现有方法,并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
在本文中,我们研究了使用对抗学习来无监督地适应看不见的记录条件,更具体地说,是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明,我们提出的方法实现了19.8%的相对字错误率(WER)减少相比,未适应的模型。此外,这种自适应方法是有益的,即使当从另一种语言(即法语)的数据上进行,给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR
National Taiwan University(台湾大学)
本文提出REBORN,一种通过强化学习交替训练语音边界分割模型和音素预测模型的无监督ASR方法,在多个数据集上超越现有模型。
2024-11-15 cs.CL cs.SD eess.AS
Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition
ASAPP Inc.(ASAPP公司);Cornell University(康奈尔大学)
本文研究了自动语音识别(ASR)中预训练模型的性能-效率权衡。我们专注于wav 2 vec 2.0,并正式几个架构设计,影响模型的性能和效率。将我们所有的观察结果汇总在一起,我们引入了SEW(Squeezed and Efficient Wav 2 vec),这是一种预训练的模型架构,在各种训练设置中的性能和效率方面都有显着改进。例如,在LibriSpeech上的100 h-960 h半监督设置下,与wav 2 vec 2.0相比,SEW实现了1.9倍的推理加速,单词出错率相对降低了13.5%。在相似的推理时间下,SEW在不同的模型大小上将单词出错率降低了25-50%。
2021-09-14 cs.CL cs.LG cs.SD
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题,研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类,以聚类ID为训练特征,在保护隐私的同时提升了端到端ASR的公平性与鲁棒性,各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD
Almost Unsupervised Text to Speech and Automatic Speech Recognition
Zhejiang University(浙江大学);Microsoft Research(微软研究院);Microsoft STC Asia(微软亚洲技术中心)
文本到语音(TTS)和自动语音识别(ASR)是语音处理中的两个双重任务,由于深度学习的最新进展和大量对齐的语音和文本数据,它们都取得了令人印象深刻的性能。然而,缺乏对齐的数据对低资源语言的TTS和ASR提出了一个主要的实际问题。在本文中,通过利用这两个任务的双重性质,我们提出了一种几乎无监督的学习方法,该方法只利用了数百个配对数据和额外的未配对数据用于TTS和ASR。该方法包括以下几个部分:(1)一个去噪自动编码器,它分别对语音和文本序列进行重构,以开发语音和文本域的语言建模能力;(2)双重转换,其中TTS模型将文本$y$转换为语音$\hat{x}$,并且ASR模型利用转换后的对$(\hat{x},y)$进行训练,反之亦然,(3)双向序列建模,其解决了在使用少量配对数据进行训练时特别是在长语音和文本序列中的错误传播;(4)统一的模型结构,其基于Transformer模型将TTS和ASR的所有上述组件组合在一起。我们的方法在LJSpeech数据集上实现了99.84%的词级可理解率和2.68 MOS的TTS,以及11.7%的PER的ASR,通过利用仅200对语音和文本数据(约20分钟的音频),以及额外的未配对的语音和文本数据。
2020-07-26 cs.CL cs.SD eess.AS
Speech Corpora Divergence Based Unsupervised Data Selection for ASR
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
自动语音识别(ASR)训练过程中,应用场景匹配数据的选取是一个重要环节,但训练语料的匹配程度难以度量。提出了一种基于语音语料库差异度(SCD)的无监督目标感知数据选择方法,该方法可以度量两个语音语料库之间的相似性。我们首先使用自监督Hubert模型将语音语料离散化为标签序列,并计算N-gram概率分布。然后我们计算N元语法之间的Kullback-Leibler散度作为SCD。最后,我们可以选择具有最小SCD的子集到目标语料库进行标注和训练。与以往的数据选择方法相比,SCD数据选择方法可以关注更多的声学细节,并保证所选数据集的多样性。我们评估我们的方法对不同的口音从共同的声音。实验结果表明,提出的SCD数据选择可以实现14.8%的相对改善随机选择,相当于甚至优于监督选择的结果。
2023-02-26 cs.CL cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute(Idiap研究机构)
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法,扩展RnV框架,在Torgo语料库上显著降低LF-MMI模型的词错误率,尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised Speech Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
自监督学习(SSL)已经能够利用未标记的数据来提高自动语音识别(ASR)模型的性能,当我们只能访问少量的转录语音数据时。然而,这提出了一个问题,即应该选择可用的未标记数据的哪个子集进行转录。我们的工作研究了不同的无监督数据选择技术,用于在有限的转录预算下微调HuBERT模型。我们研究了说话人多样性、性别偏见和话题多样性对下游ASR性能的影响。我们还设计了两种新的无监督数据选择技术:基于预训练损失的数据选择和字节对编码聚类单元(PBPE)的困惑,我们展示了这些技术与纯随机数据选择的比较。最后,我们分析了所选微调子集的固有特性之间的相关性,以及这些特性如何与所得的字错误率相关。我们证明了令牌的多样性,扬声器的多样性和主题的多样性,在WER方面实现最佳性能的重要性。
2022-12-03 cs.CL cs.SD eess.AS
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是,获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而,从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中,我们提出了一种新的无监督自适应方法,学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示(例如,扬声器和通道)使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语,我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法,我们专注于一个通道失配设置,其中感兴趣的域是遥远的对话语音,标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集,优于所有基线和弥合之间的差距,不使用任何并行数据超过77%,不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Unsupervised Speech Representation Pooling Using Vector Quantization
Sogang University(西江大学)
针对语音表示长度可变的池化问题,提出一种无需额外训练的基于向量量化的无监督池化方法,通过压缩声学相似表示,在多个下游任务上优于平均池化。
2023-04-08 cs.AI cs.LG cs.SD
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University(南洋理工大学);NVIDIA Research(英伟达研究院);IBM Research(IBM研究院);Tsinghua University(清华大学)
提出无监督自适应框架STAR,利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性,通过新颖指标评估伪标签质量,实现平均13.5%的词错误率降低,并防止灾难性遗忘,数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley(加州大学伯克利分校)
人类说话者将信息编码成原始语音,然后由听者解码。编码(产生)和解码(感知)之间的这种复杂关系通常是单独建模的。在这里,我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现,该网络结合了语音的产生和感知原理。据我们所知,我们介绍了无监督词汇学习中最具挑战性的目标:一个网络,必须学习词汇项的唯一表示,没有直接存取训练数据。我们训练了几个模型(ciwGAN和fiwGAN arXiv:2006.02951),并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此,组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息,而无需直接访问真实的训练数据。我们提出了一种技术,探索词汇(整体)和词汇(特征)学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义,因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised pre-training for sequence to sequence speech recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种新的方法来预训练编码器-解码器序列到序列(seq 2seq)模型分别与不成对的语音和成绩单。我们的预训练方法分为两个阶段,命名为声学预训练和语言预训练。在声学预训练阶段,我们使用大量的语音来预训练编码器,通过预测掩蔽的语音特征块与其上下文。在语言预训练阶段,我们使用单说话人文本到语音(TTS)系统从大量的成绩单生成合成语音,并使用合成的成对数据预训练解码器。这种两阶段的预训练方法将丰富的声学和语言知识集成到seq 2seq模型中,这将有利于下游的自动语音识别(ASR)任务。在AISHELL-2数据集上完成了无监督预训练,并将预训练的模型应用于AISHELL-1和HKUST的多个配对数据比率。在AISHELL-1和HKUST上,相对字符出错率降低率分别从38.24%和12.00%降低到7.88%和1.20%。此外,我们将我们的预训练模型应用于CALLHOME数据集的跨语言案例。对于CALLHOME数据集中的所有六种语言,我们的预训练方法使模型始终优于基线。
2020-01-02 cs.CL cs.SD eess.AS
Towards Unsupervised Automatic Speech Recognition Trained by Unaligned Speech and Text only
National Taiwan University(国立台湾大学)
自动语音识别(ASR)已被广泛研究,但许多低资源语言缺乏音频-文本对齐数据,无法使用监督方法。在这项工作中,我们提出了一个框架,以实现无监督的ASR阅读英语语音数据集,其中音频和文本是不对齐的。在第一阶段中,话语中的每个单词级音频段由序列自动编码器提取的向量表示来表示,其中语音信息和说话者信息被解开。其次,使用skip-gram模型从向量表示训练音频片段的语义嵌入。最后,利用无监督的方法将音频片段的语义嵌入转换到文本嵌入空间,并最终将转换后的嵌入映射到单词。有了上述框架,我们将只使用未对齐的文本和语音训练无监督ASR。
2018-08-11 cs.CL
Combining Unsupervised and Text Augmented Semi-Supervised Learning for Low Resourced Autoregressive Speech Recognition
Raytheon BBN Technologies(雷神BBN技术公司)
无监督表示学习的最新进展已经证明了预训练对大量阅读语音的影响。我们适应这些技术的领域自适应在低资源-无论是在数据和计算-会话和广播领域。超越CTC,我们以无监督的方式预训练最先进的Conformer模型。虽然无监督方法优于传统的半监督训练,但这些技术是互补的。与单独的半监督训练相比,结合这些技术在所有条件下平均WER有5%的绝对改善。通过外部语言模型合并附加文本数据。通过使用基于CTC的解码,我们能够更好地利用额外的文本数据。当用作转录模型时,它允许Conformer模型通过半监督训练而不是浅融合来更好地结合来自语言模型的知识。与浅融合相比,使用基于CTC的解码进行半监督训练时,最终性能绝对值额外提高2%。
2022-02-11 cs.CL cs.SD eess.AS
Completely Unsupervised Speech Recognition By A Generative Adversarial Network Harmonized With Iteratively Refined Hidden Markov Models
National Taiwan University(台湾大学)
对于世界上95%以上的低资源语言来说,为训练ASR系统生成一个大型注释语音语料库仍然很困难,但是为这些语言收集一个相对较大的未标记数据集是更容易实现的。这就是为什么一些最初的努力已经报道了完全无监督的语音识别学习从未标记的数据,虽然相对较高的出错率。在本文中,我们开发了一个生成对抗网络(GAN)来实现这一目的,其中生成器和鉴别器迭代地相互学习以提高性能。我们进一步使用一组隐马尔可夫模型(HMRM),从机器生成的标签中迭代改进,以与GAN协调工作。在TIMIT数据集上的初步实验实现了33.1%的电话出错率,这比以前的最先进水平低8.5%。
2019-08-23 cs.CL cs.SD eess.AS
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of British Columbia(不列颠哥伦比亚大学);Indiana University Bloomington(印第安纳大学伯明顿分校);Newcastle University(纽卡斯尔大学);Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所)
直接从语音信号中导出语义表示是一项极具挑战性的任务,但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元,我们提出了WavEmbed,一个多模态顺序自动编码器,预测隐藏单元从密集的语音表示。其次,我们还提出了S-HuBERT通过知识蒸馏来归纳意义,其中句子嵌入模型首先在隐藏单元上进行训练,并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中(0.5~0.6),不依赖于任何标签或透明度。此外,这些模型还可以很容易地扩展,以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘,索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University(西江大学);Naver Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
通常,由于训练环境和测试环境之间的不匹配,自动语音识别(ASR)系统的性能显著降低。最近,提出了一种基于深度学习的图像到图像翻译技术,将图像从源域翻译到所需域,并应用循环一致性对抗网络(CycleGAN)来学习从说话人到目标说话人的语音到语音转换的映射。然而,该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量,因为它被设计为转换语音本身。在本文中,我们提出了一种基于生成对抗网络(GANs)的域自适应方法,具有解纠缠表示学习,以实现ASR系统的鲁棒性。特别是,两个独立的编码器,上下文和域编码器,引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR,将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外,与基于CycleGAN的方法类似,该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong(香港中文大学)
本文研究了零资源环境下的自动语音识别(ASR)的无监督声学建模(UAM)问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要,而且对于许多非主流应用也至关重要,例如语言保护,语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本(子字级)语音单元的无监督发现。在零资源条件下,可以仅从声学信号推断语音单元,而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲,需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的,并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Instruction Data Generation and Unsupervised Adaptation for Speech Language Models
NVIDIA(英伟达)
针对多模态大语言模型的语音-文本双模态训练样本稀缺问题,提出三种结合大语言模型与文本转语音的合成数据生成方法,验证了无标注语音数据扩大多语言训练的潜力,提升了模型跨模态整合理解能力。
2024-06-18 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation for Robust Speech Recognition via Variational Autoencoder-Based Data Augmentation
Massachusetts Institute of Technology(麻省理工学院)
在许多机器学习场景中,训练和测试之间的域不匹配可能导致性能显著下降。不幸的是,对于实际应用中的自动语音识别部署,这种情况并不罕见。鲁棒语音识别的研究可以被看作是试图克服这个域失配问题。在本文中,我们解决了鲁棒语音识别的无监督领域自适应问题,其中源和目标域的语音,但单词成绩单只适用于源域语音。我们提出了新的增强为基础的方法,转换语音的方式,不改变成绩单。具体来说,我们首先训练一个变分自编码器的源和目标域数据(没有监督)学习语音的潜在表示。然后,我们通过修改潜在表示来变换与识别无关的语音的讨厌属性,以便用分布更类似于目标域的附加数据来增强标记的训练数据。在CHiME-4数据集上对所提出的方法进行了评估,与非适应基线相比,该方法将绝对字出错率(WER)降低了35%。
2017-09-22 cs.CL cs.LG
Unsupervised Pre-training of Bidirectional Speech Encoders via Masked Reconstruction
Amazon Alexa(亚马逊Alexa)
我们提出了一种通过掩蔽重建损失来预训练语音表示的方法。我们的预训练编码器网络是双向的,因此可以直接用于典型的双向语音识别模型。然后,可以在较少量的监督数据上对预训练的网络进行微调,以用于语音识别。在LibriSpeech和华尔街日报语料库上的实验显示了良好的效果。我们发现,导致语音识别改进的主要因素是:掩蔽段的足够的宽度在时间和频率,预训练的大量未标记的数据比标记的数据,和域自适应时,未标记的和标记的数据来自不同的领域。来自预训练的增益是监督数据增强的增益的相加。
2020-05-05 cs.SD eess.AS
A Further Study of Unsupervised Pre-training for Transformer Based Speech Recognition
Didi Chuxing(滴滴出行)
建立一个好的语音识别系统通常需要大量的转录数据,这是昂贵的收集。在这些方法中,Masked Predictive Coding在具有BERT类Masked Reconstruction损失和Transformer骨干的各种语音识别数据集上实现了显著的改进。然而,MPC的许多方面尚未得到充分研究。在本文中,我们对MPC进行了进一步的研究,并集中在三个重要方面:预训练数据说话风格的影响,它对流模型的扩展,以及如何更好地将学习到的知识从预训练阶段转移到下游任务。实验表明,具有匹配说话风格的预训练数据在下游识别任务中更有用。在HKUST上训练的流模型上,APC和MPC的统一训练目标提供了8.46%的相对误差减少。此外,目标数据自适应和逐层判别训练的组合有助于MPC的知识转移,在强基线上,AISHELL的相对误差减少了3.99%。
2020-06-23 cs.CL cs.SD eess.AS
Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research AI, T. J. Watson Research Center(IBM研究院人工智能部门,T. J. Watson研究中心)
提出基于双层优化的 BL-JUST,将无监督损失与监督损失分别置于下层和上层进行联合训练,并在 LibriSpeech 与 TED-LIUM v2 上验证其优于预训练—微调策略。
2024-01-13 cs.CL cs.LG stat.ML