Comparing Unsupervised and Supervised Semantic Speech Tokens: A Case Study of Child ASR
University of California Los Angeles(加州大学洛杉矶分校)
本文对比了监督和无监督语义语音标记在儿童语音识别中的性能,发现监督方法在低资源环境下表现更优。
2025-12-02 eess.AS
Continual Learning in Machine Speech Chain Using Gradient Episodic Memory
JAIST(日本先进科学技术学院);HA3CI Laboratory(HA3CI实验室)
针对ASR系统持续学习的灾难性遗忘问题,提出融合机器语音链框架与梯度情景记忆的方法,通过文本转语音组件支持重放机制,在LJ Speech数据集上优于传统方法,实现高效持续学习。
2024-11-27 cs.AI cs.CL eess.AS
Continual Speech Learning with Fused Speech Features
Southeast University(东南大学);Monash University(墨尔本大学)
针对语音数据快速增长带来的模型适应问题,本文提出持续语音学习设定,在Whisper编码器上引入可学习门控融合层动态选择任务特征,在六项语音任务中显著提升准确率,实现无需完全重训练即可适应新任务。
2025-06-03 cs.CL cs.SD eess.AS
Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems
University of Melbourne, Melbourne, Australia(墨尔本大学)
本文从表征中心视角重新审视语音持续学习,提出基于表征几何演化的新分类法,并指出现有假设与语音基础模型行为的关键不匹配,最后概述开放挑战与未来方向。
2026-05-29 cs.SD eess.AS
Less Forgetting for Better Generalization: Exploring Continual-learning Fine-tuning Methods for Speech Self-supervised Representations
Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Samsung AI Research(三星人工智能研究院)
本文针对语音自监督模型微调中预训练鲁棒性受损的问题,提出在微调时引入持续学习方法以减少对自监督任务的遗忘,并在英语和丹麦语语音识别任务上验证了该方法可显著提升域内外泛化能力。
2024-06-30 cs.SD eess.AS
Weight Factorization and Centralization for Continual Learning in Speech Recognition
Interactive Systems Lab(交互系统实验室)
针对语音识别模型持续学习中的灾难性遗忘问题,提出分解与集中化两阶段方法,通过低秩适配器累积知识,实验证明其有效防止遗忘。
2025-06-19 cs.CL cs.SD eess.AS
Unsupervised Data Selection via Discrete Speech Representation for ASR
语音表示的自监督学习在提高自动语音识别(ASR)方面取得了令人印象深刻的结果。在本文中,我们证明了数据选择对于自监督学习很重要。我们提出了一个简单而有效的无监督数据选择方法,选择声学相似的语音目标域。它以常见的自监督学习框架中可用的离散语音表示作为输入,并对离散标记应用对比数据选择方法。通过广泛的实证研究,我们表明我们提出的方法减少了所需的预训练数据量并提高了下游ASR性能。在一般数据池的6%的选定子集上进行预训练,与在完整集合上进行预训练相比,LibriSpeech测试-其他测试的相对改进为11.8%。在多语言LibriSpeech法语、德语和西班牙语测试集上,选择6%的数据进行预训练,与完整集相比,单词错误率相对降低了15%以上,与当前最先进的性能相比,取得了有竞争力的结果。
2022-04-05 eess.AS
FedSpeech: Federated Text-to-Speech with Continual Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
提出基于持续学习的联邦文本到语音合成架构FedSpeech,通过渐进剪枝掩码、选择性掩码和私有说话人嵌入解决少样本与隐私挑战,在多说话人质量和相似度上表现优异。
2023-05-22 cs.SD eess.AS
Unsupervised Text-to-Speech Synthesis by Unsupervised Automatic Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
一种无监督的文本转语音合成(TTS)系统,通过观察:1)该语言中的未转录语音波形的集合; 2)在不访问任何转录语音的情况下以该语言书写的文本的集合,来学习生成与该语言中的任何书写句子相对应的语音波形。开发这样的系统可以显著提高语音技术对没有大量并行语音和文本数据的语言的可用性。本文提出了一种基于对齐模块和合成模块的无监督TTS系统,对齐模块输出伪文本,合成模块使用伪文本进行训练,真实文本进行推理。我们的无监督系统可以在七种语言中实现与有监督系统相当的性能,每种语言大约10-20小时。对文本单元和声码器的影响也进行了仔细的研究,以更好地了解哪些因素可能影响无监督TTS性能。我们的模型生成的示例可以在https://cactuswiththoughts.github.io/UnsupTTS-Demo上找到,我们的代码可以在https://github.com/lwang114/UnsupTTS上找到。
2022-08-15 cs.AI eess.AS
Freeze and Learn: Continual Learning with Selective Freezing for Speech Deepfake Detection
Politecnico di Milano(米兰理工大学);Bosch Research(博世研究中心)
本文研究语音深度伪造检测中的持续学习问题,发现仅更新模型负责处理输入特征的初始层权重并冻结其他层,是在多个模型中最有效的持续学习方法。
2024-09-26 cs.SD eess.AS
Double Mixture: Towards Continual Event Detection from Speech
Southeast University(东南大学);Monash University(莫纳什大学)
本文提出语音持续事件检测任务及两个基准数据集,并通过融合语音专长与记忆机制的 Double Mixture 方法,降低遗忘率并提升跨序列泛化能力。
2024-10-28 cs.CL cs.MM cs.SD
Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
Columbia University(哥伦比亚大学);Recognition Technologies, Inc.(识别技术有限公司)
该研究针对财报电话会议ASR场景,发现任务互补性使持续学习正则化适得其反,需正则化时mini-KFAC EWC比对角EWC性能更优。
2026-10-12 cs.CL cs.LG eess.AS
Accent-Robust Automatic Speech Recognition Using Supervised and Unsupervised Wav2vec Embeddings
语音识别模型在对带有不可见口音的语音进行测试时,性能往往会下降。领域对抗训练(DAT)和多任务学习(MTL)是构建口音鲁棒ASR模型的两种常用方法。使用口音嵌入的ASR模型是另一种提高口音鲁棒性的方法。在这项研究中,我们使用大量的英语口音语料库(4000小时的美国英语语音和1244小时的20个非美国英语口音的语音)进行DAT和MTL方法的系统比较。我们探索了在监督和无监督设置下训练的嵌入:使用重音标签训练的单独嵌入矩阵,以及从微调的wav 2 vec模型中提取的嵌入。我们发现,使用监督嵌入训练的DAT模型总体上实现了最佳性能,并且始终为所有测试数据集提供了好处,并且使用wav 2 vec嵌入训练的MTL模型有助于学习口音不变特征并改善新的/看不见的口音。我们还说明了当没有口音标签可用于训练监督嵌入时,wav 2 vec嵌入在构建口音鲁棒ASR方面具有更多优势。
2021-10-08 eess.AS
ARTT: Augmented Reverberant-Target Training for Unsupervised Monaural Speech Dereverberation
Southern University of Science and Technology(南方科技大学)
本文提出ARTT方法,通过两阶段训练提升单通道语音去混响性能,利用深度神经网络和在线自蒸馏机制,有效减少混响并优于现有基线。
2026-03-19 eess.AS
Continual Speaker Adaptation for Text-to-Speech Synthesis
University of St.Gallen(圣加仑大学)
从头开始训练多说话者文本到语音(TTS)模型在计算上是昂贵的,并且向数据集添加新的说话者需要重新训练模型。对于新的扬声器,对模型进行顺序微调的天真解决方案可能导致旧扬声器的性能不佳。这种现象被称为灾难性遗忘。在本文中,我们从持续学习的角度来看待TTS建模,其目标是在不忘记先前发言者的情况下添加新的发言者。因此,我们首先提出了一个实验设置,并表明,串行微调新的扬声器可能会导致忘记较早的扬声器。然后,我们利用两个著名的技术持续学习,即经验重放和权重正则化。我们揭示了如何可以减轻退化的影响,在语音合成多样性的顺序训练的新的扬声器使用这些方法。最后,我们提出了一个简单的扩展来体验重播,以改善我们可以访问非常小的缓冲区的极端设置中的结果。
2022-03-31 cs.CL cs.LG cs.SD
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne(墨尔本大学);UNSW Sydney(新南威尔士大学悉尼分校)
针对太平洋土著语言数据稀缺和灾难性遗忘问题,研究语音基础模型的适应策略,发现LoRA在顺序学习中会灾难性遗忘,需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失,用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY(纽约市立大学研究生中心);Microsoft Research(微软研究院)
语音增强最近通过各种深度学习方法取得了巨大成功。然而,大多数传统的语音增强系统是用监督方法训练的,这带来了两个重大挑战。首先,用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时,在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次,在提高语音增强性能和降低语音识别(ASR)性能之间存在权衡。因此,我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明,该函数有效地提高了语音增强的性能相比,在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线,但通过联合超级和无监督训练,系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield(谢菲尔德大学)
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中,我们利用一个无监督的不确定性估计方法来预测语音清晰度,它不需要清晰度标签或参考信号来训练预测器。我们的实验表明,国家的最先进的端到端的自动语音识别(ASR)模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估,结果表明,ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
Continual learning using lattice-free MMI for speech recognition
Behavox(Behavox公司)
连续学习(CL)或域扩展,最近成为自动语音识别(ASR)声学建模的热门话题,因为实际系统必须频繁更新,以便在初始训练期间未观察到的语音类型上稳健地工作。虽然顺序自适应允许将系统调整到新的域,但由于灾难性的遗忘,它可能导致旧域的性能下降。在这项工作中,我们探索基于正则化的CL神经网络声学模型训练的无格最大互信息(LF-MMI)标准。我们通过在不同的公共数据集(包括几种口音和说话风格)上逐步适应声学模型来模拟域扩展。我们研究了两种著名的CL技术,弹性权重合并(EWC)和无遗忘学习(LWF),其目的是通过保留模型权重或网络输出来减少遗忘。我们还引入了序列级LWF正则化,它利用LF-MMI分母图的后验来进一步减少遗忘。实验结果表明,所提出的序列级LWF可以提高最好的平均字错误率在所有领域的9.4%,相对于使用常规LWF。
2021-10-13 cs.CL eess.AS
Simple and Effective Unsupervised Speech Synthesis
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Meta AI
我们介绍了第一个无监督的语音合成系统的基础上,一个简单的,但有效的配方。该框架利用了最近在无监督语音识别以及现有的基于神经的语音合成的工作。仅使用未标记的语音音频和未标记的文本以及词典,我们的方法使语音合成,而不需要人类标记的语料库。实验表明,无监督的系统可以合成类似的语音监督同行的自然度和可懂度衡量的人的评价。
2022-04-20 cs.CL cs.SD eess.AS
Continual Learning for Monolingual End-to-End Automatic Speech Recognition
KU Leuven(鲁汶大学)
本文提出了一种连续学习方法,用于在不存储历史数据的情况下提升单语端到端ASR模型在多个新任务上的性能。
2023-03-09 cs.CL cs.LG eess.AS
Rehearsal-Free Online Continual Learning for Automatic Speech Recognition
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium(鲁文大学电气工程系ESAT-PSI部门,比利时鲁文)
本文提出了一种无需复述的在线连续学习方法,用于改进自动语音识别模型在新领域学习时对原始领域的性能
2023-06-19 cs.SD eess.AS
MetricGAN-U: Unsupervised speech enhancement/ dereverberation based only on noisy/ reverberated speech
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Mila-Quebec AI Institute(米拉-魁北克人工智能研究院);Microsoft(微软)
大多数基于深度学习的语音增强模型都是以监督的方式学习的,这意味着在训练期间需要成对的噪声和干净语音。因此,日常生活中记录的几个嘈杂的语音不能用于训练模型。虽然某些无监督学习框架也被提出来解决对约束,但它们仍然需要干净的语音或噪声进行训练。因此,在本文中,我们提出了MetricGAN-U,它代表MetricGAN-unsupervised,以进一步释放传统无监督学习的约束。在MetricGAN-U中,通过优化非侵入式语音质量指标,仅需要带噪语音来训练模型。实验结果验证了MetricGAN-U在客观和主观指标上都优于基线。
2021-10-12 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Translation
Meta - Fundamental AI Research (FAIR)(Meta基础人工智能研究院(FAIR))
用于训练语音任务模型的标记数据量对于大多数语言是有限的,然而,对于需要覆盖两种不同语言的标记数据的语音翻译,数据稀缺性加剧。为了解决这个问题,我们研究了一种简单而有效的方法来构建语音翻译系统,而无需标记数据,通过利用无监督语音识别,机器翻译和语音合成的最新进展,无论是在管道方法中,还是生成伪标签用于训练端到端的语音翻译模型。此外,我们提出了一个无监督领域自适应技术的预训练的语音模型,提高了下游无监督语音识别的性能,特别是对于低资源设置。实验表明,在Libri-Trans基准测试中,无监督语音到文本翻译的性能比以前的无监督技术高出3.2 BLEU,在CoVoST 2上,我们最好的系统在五个X-En方向上的性能比两年前最好的有监督端到端模型(没有预训练)高出5.0 BLEU。我们还报告了MuST-C和CVSS基准测试的竞争结果。
2022-10-18 cs.CL cs.SD eess.AS
SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
SpeechSplit可以通过使用多个自动编码器以无监督的方式将语音分解为内容,节奏,音高和音色来执行特定于方面的语音转换。然而,SpeechSplit需要仔细调整自动编码器瓶颈,这可能很耗时,而且不太可靠。本文提出了SpeechSplit 2.0,它约束的语音分量的信息流,使用有效的信号处理方法,而不是瓶颈调整的自动编码器输入解开。评估结果表明,SpeechSplit 2.0在语音解纠缠和对瓶颈大小变化的鲁棒性方面与SpeechSplit具有相当的性能。我们的代码可在https://github.com/biggytruck/SpeechSplit2上获得。
2022-03-26 cs.AI cs.SD eess.AS
Speech Augmentation Based Unsupervised Learning for Keyword Spotting
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
本文研究了一种基于语音增强的无监督学习关键词识别方法。KWS是一个有用的语音应用程序,但也严重依赖于标记数据。我们设计了一个CNN-Attention架构来执行KWS任务。CNN层专注于局部声学特征,而注意力层对长时间依赖性进行建模。为了提高KWS模型的鲁棒性,我们还提出了一种无监督学习方法。无监督损失是基于原始和增强语音特征之间的相似性,以及音频重建信息。在无监督学习中,研究了两种语音增强方法:速度增强和强度增强。在Google Speech Commands V2数据集上的实验表明,我们的CNN-Attention模型具有竞争力的结果。此外,基于增强的无监督学习可以进一步提高KWS任务的分类精度。在我们的实验中,基于增强的无监督学习,我们的KWS模型实现了更好的性能比其他无监督的方法,如CPC,APC,MPC。
2022-05-28 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University(阿联酋大学);National University of Science & Technology(国家科学技术大学)
自动语音识别(ASR)系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能,但是对于所有感兴趣的语言而言,获取大的标记数据集可能是困难的或昂贵的。在本文中,我们回顾了研究文献,以确定可能导致完全无监督ASR的模型和想法,包括语音信号的无监督分割,从语音段到文本的无监督映射,以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性,并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
Unsupervised Learning For Sequence-to-sequence Text-to-speech For Low-resource Languages
NetEase Games AI Lab(网易游戏人工智能实验室)
近年来,带注意力的序列到序列模型在文本转语音(TTS)中得到了成功的应用。这些模型可以生成接近人类的语音与大量准确转录的语音语料库。然而,准备如此大的数据集既昂贵又费力。为了缓解数据需求量大的问题,本文提出了一种新的无监督预训练机制。具体来说,我们首先使用矢量量化变分自动编码器(VQ-VAE)从大规模的,公开的,和未转录的语音提取无监督的语言单位。然后,我们通过使用<无监督语言单位,音频>对来预训练序列到序列TTS模型。最后,我们用目标说话人的少量<text,audio>配对数据对模型进行微调。客观和主观评价结果表明,该方法可以用相同数量的成对训练数据合成更清晰、更自然的语音。此外,我们将所提出的方法扩展到假设的低资源语言,并使用客观评价来验证该方法的有效性。
2020-08-11 cs.SD eess.AS
Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis
Toshiba Research Europe(东芝欧洲研究院);Tohoku University(东北大学);University of Sheffield(谢菲尔德大学)
本文提出利用无监督TTS从少量带口音语音生成合成数据以增强ASR训练,在Wav2vec2.0自监督框架下使词错误率相对降低最高达6.1%。
2024-07-04 cs.CL cs.SD eess.AS
Robust Feature Clustering for Unsupervised Speech Activity Detection
University of Texas at Dallas(德克萨斯大学达拉斯分校)
在诸如零资源语音处理或极低资源语音语言系统的某些应用中,收集语音活动检测(SAD)注释可能是不可行的。然而,基于神经网络或其他机器学习方法的最先进的监督SAD技术需要与目标域匹配的带注释的训练数据。本文建立了一个聚类方法,完全无监督SAD有用的情况下,SAD注释不可用。所提出的方法利用哈迪根浸渍测试的递归策略分割成突出的模式的特征空间。统计倾角对失真是不变的,这为所提出的方法提供了鲁棒性。我们在NIST OpenSAD 2015和NIST OpenSAT 2017公共安全通信数据上评估了该方法。结果表明,所提出的方法优于两个组件的GMM基线。索引术语:聚类,Hartigan dip test,NIST OpenSAD,NIST OpenSAT,语音活动检测,零资源语音处理,无监督学习。
2018-06-25 cs.SD eess.AS
Continual self-training with bootstrapped remixing for speech enhancement
Meta Reality Labs Research(Meta现实实验室)
我们提出了RemixIT,一种简单而新颖的语音增强自监督训练方法。所提出的方法是基于一个连续的自我训练计划,克服了以前的研究,包括假设的域内噪声分布和获得干净的目标信号的限制。具体而言,分离教师模型在域外数据集上进行预训练,并用于推断一批域内混合物的估计目标信号。接下来,我们通过使用置换估计的清洁和噪声信号生成人工混合物来引导混合过程。最后,学生模型使用排列的估计源作为目标进行训练,同时我们使用最新的学生模型定期更新教师的权重。我们的实验表明,在多个语音增强任务下,RemixIT的性能优于以前几种最先进的自监督方法。此外,RemixIT为语音增强任务的半监督和无监督领域自适应提供了一种无缝的替代方案,同时足够通用,可以应用于任何分离任务并与任何分离模型配对。
2022-01-30 cs.LG cs.SD eess.AS
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.(Meta公司)
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法,通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应,并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Unsupervised Speech Enhancement using Data-defined Priors
本文提出双分支编码器-解码器与对抗训练框架,利用不成对干净语音和噪声数据定义先验,实现无监督语音增强,并揭示域内干净数据会导致性能评估过于乐观。
2025-09-26 cs.AI cs.SD eess.AS
Towards End-to-end Unsupervised Speech Recognition
Meta AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
无监督语音识别显示出巨大的潜力,使自动语音识别(ASR)系统可访问的每一种语言。然而,现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似,我们引入了wav 2 vec-U 2.0,它取消了所有音频端的预处理,并通过更好的架构提高了准确性。此外,我们引入了一个辅助的自监督目标,将模型预测与输入联系起来。实验表明,wav 2 vec-U 2.0改进了不同语言的无监督识别结果,同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition
University of Hamburg(汉堡大学)
本文针对大规模ASR模型微调新领域时原始领域性能下降的问题,利用SVC-de数据集,通过层级特定微调和Experience Replay持续学习,在新领域达到低于5%的WER并稳定通用识别性能。
2023-10-18 cs.CL cs.SD eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google(谷歌)
本文介绍了第7届CHiME挑战赛的UDASE任务,旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应,以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用,这些模型对各种SLU任务都有合理的改进。然而,由于语音信号和文本标记之间的不匹配模态,以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式,它连接语音和文本预训练模型,从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说,我们建议使用无监督自动语音识别(ASR)作为连接器,连接语音和文本预训练模型中使用的不同模态。我们的实验表明,无监督ASR本身可以改善语音自监督模型的表示。更重要的是,它被证明是语音和文本预训练模型之间的有效连接器,提高了五种不同SLU任务的性能。值得注意的是,在口语问答方面,我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);OriginAI
针对单麦克风含噪语音分离问题,提出一种基于扩散模型的无监督音视频分离方法,通过显式建模语音与噪声分布并利用逆向扩散过程采样,在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS
Unsupervised speech enhancement with deep dynamical generative speech and noise models
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院)
该研究针对无监督语音增强任务,提出用深度动态生成模型(DDGM)替代传统非负矩阵分解噪声模型,支持三种训练配置,在性能比肩现有最优无监督方法的同时,噪声依赖训练配置可显著提升推理时间效率。
2023-06-13 cs.LG cs.SD eess.AS
A Brief Overview of Unsupervised Neural Speech Representation Learning
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Corti;Pioneer Centre for AI(AI先锋中心)
在过去的几年里,用于语音处理的无监督表示学习已经非常成熟。计算机视觉和自然语言处理方面的工作已经铺平了道路,但语音数据带来了独特的挑战。因此,来自其他域的方法很少直接转换。我们回顾了过去十年来语音无监督表示学习的发展。我们确定了两个主要的模型类别:自我监督的方法和概率潜变量模型。我们描述了模型,并制定了一个全面的分类。最后,我们讨论和比较两类模型。
2022-03-01 cs.LG cs.SD eess.AS
USDnet: Unsupervised Speech Dereverberation via Neural Forward Filtering
针对单说话人多麦克风混响场景,提出无监督语音去混响网络USDnet,利用多麦克风信号作为约束,结合神经前向滤波正则化网络输出,实现单源混响语音的无监督去混响。
2024-08-13 eess.AS eess.SP
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras(印度理工学院马德拉斯分校)
自动语音识别是模式识别中的一个难题,因为语音输入中存在多种可变性来源,例如通道变化,输入可能是干净的或有噪声的,说话者可能具有不同的口音和性别变化等。因此,域自适应在语音识别中很重要,其中我们训练特定源域的模型,并在不同的目标域上对其进行测试。在本文中,我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验,使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Unsupervised Pre-training of Bidirectional Speech Encoders via Masked Reconstruction
Amazon Alexa(亚马逊Alexa)
我们提出了一种通过掩蔽重建损失来预训练语音表示的方法。我们的预训练编码器网络是双向的,因此可以直接用于典型的双向语音识别模型。然后,可以在较少量的监督数据上对预训练的网络进行微调,以用于语音识别。在LibriSpeech和华尔街日报语料库上的实验显示了良好的效果。我们发现,导致语音识别改进的主要因素是:掩蔽段的足够的宽度在时间和频率,预训练的大量未标记的数据比标记的数据,和域自适应时,未标记的和标记的数据来自不同的领域。来自预训练的增益是监督数据增强的增益的相加。
2020-05-05 cs.SD eess.AS
On Investigation of Unsupervised Speech Factorization Based on Normalization Flow
Tsinghua University(清华大学)
语音信号是各种信息的复杂组合,包括语音内容、说话人特征、信道效应等。将这种复杂的混合物分解成独立的因素,即,语音因子分解在现代语音处理任务的许多重要算法中具有根本的重要性并起着核心作用。在本文中,我们提出了一个初步的研究基于规范化流模型的无监督语音分解。该模型构造了一个复杂的可逆变换,通过该变换,我们可以将语音段投影到一个潜在的代码空间,其中分布是一个简单的对角高斯。对TIMIT数据库的初步研究表明,该码空间具有良好的稠密性和伪线性等特性,语音内容和说话人特征等重要的感知因素可以在码空间中表示为特定的方向。
2019-10-29 cs.LG cs.SD eess.AS
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing(帕德博恩并行计算中心)
在这项工作中,我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器:内容编码器和风格编码器。为了促进解纠缠,我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据,也不需要任何监督。我们表明,所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示,并显示竞争力的扬声器内容解纠缠性能相比,其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比,频谱特征,当用于电话识别。
2021-03-11 cs.SD eess.AS
Unsupervised Speech Enhancement using Dynamical Variational Auto-Encoders
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心);Univ. Grenoble-Alpes(格勒诺布尔阿尔卑斯大学);Grenoble-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);CentraleSupélec(巴黎中央理工-高等电力学院)
动态变分自编码器(DVAE)是一类具有潜在变量的深度生成模型,专用于对高维数据的时间序列进行建模。DVAE可以被认为是变分自编码器(VAE)的扩展,其包括连续的观测向量和/或潜在向量之间的时间依赖性。以前的工作表明,使用DVAE的语音频谱图建模的VAE的兴趣。独立地,VAE已经成功地应用于噪声中的语音增强,在无监督的噪声不可知的设置中,在训练时间既不需要噪声样本也不需要有噪声的语音样本,而只需要干净的语音信号。在本文中,我们将这些工作扩展到基于DVAE的单通道无监督语音增强,从而利用语音信号无监督表示学习和动态建模。我们提出了一种无监督的语音增强算法,结合了DVAE语音事先预先训练干净的语音信号与噪声模型的基础上非负矩阵分解,我们推导出一个变分期望最大化(VEM)算法进行语音增强。该算法提出了最一般的DVAE制定,然后应用三个具体的DVAE模型来说明框架的多功能性。实验结果表明,所提出的基于DVAE的方法优于其基于VAE的方法,以及几个监督和无监督的噪声相关基线,特别是当噪声类型在训练过程中是不可见的。
2022-09-30 cs.AI cs.LG cs.SD
Improving Transformer-based Speech Recognition Using Unsupervised Pre-training
AI Labs, Didi Chuxing(滴滴出行人工智能实验室)
语音识别技术在各种工业应用中越来越普及。为了解决语音识别系统需要大量转录数据的问题,提出了一种基于Transformer模型的无监督预训练方法Masked Predictive Coding。在香港科技大学的实验表明,使用相同的训练数据,我们可以实现CER 23.3%,超过最好的端到端模型的绝对CER超过0.2%。有了更多的预训练数据,我们可以进一步将CER降低到21.0%,或者相对于基线降低11.8%。
2019-10-31 cs.CL cs.SD eess.AS
Unsupervised Representation Learning with Future Observation Prediction for Speech Emotion Recognition
National Laboratory of Pattern Recognition, CASIA, Beijing, China(中国科学院自动化研究所模式识别国家重点实验室,北京,中国);CAS Center for Excellence in Brain Science and Intelligence Technology, Beijing, China(中国科学院脑科学与智能技术卓越创新中心,北京,中国);School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China(中国科学院大学人工智能学院,北京,中国)
语音情感识别的现有工作利用各种无监督学习方法来处理低资源样本。然而,这些方法没有注意到长期的动态依赖性,这是语音情感识别的重要建模。为了解决这个问题,本文将无监督表示学习策略-未来观察预测(FOP)与迁移学习方法(如微调和Hypercolumns)相结合。为了验证该方法的有效性,我们在IEMOCAP数据库上进行了实验。实验结果表明,我们的方法优于目前先进的无监督学习策略。
2019-10-24 cs.LG cs.SD eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics(国立信息学研究所);Unversity of Edinburgh(爱丁堡大学)
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构,在该结构中,一个看不见的说话人的声音可以建立在一个相对少量的语音数据,而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说,当执行无监督说话者自适应时,我们将这些层连接到音频输入,而当从文本合成语音时,我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成,还提出了其它应用。实验结果表明,该模型不仅可以适应看不见的扬声器使用未转录的语音,但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
Remix-cycle-consistent Learning on Adversarially Learned Separator for Accurate and Stable Unsupervised Speech Separation
Waseda University(早稻田大学)
设计了一种新的语音分离网络学习算法,以无监督的方式显式地减少分离信号中的残留噪声和伪影。生成对抗网络是已知的有效构建分离网络时,观察到的信号的地面真相是不可访问的。尽管如此,针对分布到分布映射的弱目标使得学习不稳定并限制了它们的性能。本研究引入了混音周期一致性损失作为一个更合适的目标函数,并使用它来微调对抗学习源分离模型。混音周期一致性损失被定义为在麦克风处观察到的混合语音与通过交替分离混合声音并将其输出与另一组合进行混音的过程而获得的伪混合语音之间的差异。这种损失的最小化导致分离网络的输出中的失真的显式减少。与多通道语音分离的实验比较表明,该方法具有较高的分离精度和学习稳定性,可与监督学习相媲美。
2022-03-26 cs.SD eess.AS
Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency
Sony Europe B.V.(索尼欧洲有限公司)
近年来,基于生成对抗网络(GAN)的模型已经成功地应用于无监督语音到语音转换,而幅度谱图丰富紧凑的谐波视图被认为是用音频数据训练这些模型的合适选择。为了重建语音信号,首先由神经网络生成幅度谱图,然后由Griffin-Lim算法等方法利用该幅度谱图来重建相位谱图。该过程存在生成的幅度谱图可能不一致的问题,这是找到相位所需的,使得完整的谱图具有听起来自然的语音波形。在这项工作中,我们通过提出一个在对抗训练过程中鼓励谱图一致性的条件来解决这个问题。我们展示了我们的方法上的任务翻译的声音的男性发言者的女性发言者,反之亦然。我们的实验结果表明,与TF一致性训练的模型提供了一个更好的语音到语音转换的感知质量。
2020-05-19 cs.LG cs.SD eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong(香港中文大学)
本研究解决的问题,从未转录的音频档案,而不需要逐字语音转录的自动语音识别(ASR)技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义,包括那些涉及低资源语言,以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法,其中包括无监督的声学建模和解码,其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型,给定的音频档案由伪转录表示,可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模,使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明,该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
Posterior Transition Modeling for Unsupervised Diffusion-Based Speech Enhancement
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用研究所)
本文提出两种直接建模条件反向转移分布的无监督扩散语音增强算法,分别消除超参数调优并实现精确似然得分,在WSJ0-QUT和VoiceBank-DEMAND上优于现有基线。
2025-07-03 cs.LG cs.SD eess.AS