Machine Speech Chain with One-shot Speaker Adaptation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所)
在之前的工作中,我们开发了一个基于深度学习的闭环语音链模型,该架构使自动语音识别(ASR)和文本到语音合成(TTS)组件能够相互提高其性能。这是通过两个部分使用标记和未标记的数据相互教导来实现的。这种方法可以显着提高单说话人语音数据集内的模型性能,但在多说话人任务中只能获得轻微的提高。此外,该模型仍然无法处理看不见的扬声器。在本文中,我们提出了一个新的语音链机制,通过集成的说话人识别模型内的循环。我们还建议扩展TTS的能力,以处理看不见的扬声器,通过实施一次性扬声器自适应。这使得TTS能够仅用一次说话者样本来模仿从一个说话者到另一个说话者的语音特征,即使是来自没有任何说话者信息的文本。在语音链循环机制中,ASR还受益于从生成的语音波形进一步学习任意说话者特征的能力,从而显著提高识别率。
2018-03-28 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras(印度理工学院马德拉斯分校)
自动语音识别是模式识别中的一个难题,因为语音输入中存在多种可变性来源,例如通道变化,输入可能是干净的或有噪声的,说话者可能具有不同的口音和性别变化等。因此,域自适应在语音识别中很重要,其中我们训练特定源域的模型,并在不同的目标域上对其进行测试。在本文中,我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验,使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Examining Test-Time Adaptation for Personalized Child Speech Recognition
Viterbi School of Engineering(维特比工程学院);Fu Foundation School of Engineering and Applied Science(富兰克林基金会工程与应用科学学院)
针对儿童语音识别中ASR模型受域偏移影响性能下降的问题,研究探究SUTA、SGEM两种TTA方法对现成及微调ASR模型的适配效果,证实其能显著提升性能,但对非语言儿童语音适配仍有局限。
2025-08-03 cs.CL cs.LG cs.SD
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University(西江大学);Naver Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
通常,由于训练环境和测试环境之间的不匹配,自动语音识别(ASR)系统的性能显著降低。最近,提出了一种基于深度学习的图像到图像翻译技术,将图像从源域翻译到所需域,并应用循环一致性对抗网络(CycleGAN)来学习从说话人到目标说话人的语音到语音转换的映射。然而,该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量,因为它被设计为转换语音本身。在本文中,我们提出了一种基于生成对抗网络(GANs)的域自适应方法,具有解纠缠表示学习,以实现ASR系统的鲁棒性。特别是,两个独立的编码器,上下文和域编码器,引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR,将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外,与基于CycleGAN的方法类似,该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
HyperTTS: Parameter Efficient Adaptation in Text to Speech using Hypernetworks
Beijing University of Posts and Telecommunications(北京邮电大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出HyperTTS,利用超网络根据说话人表示动态生成Adapter参数,以参数高效方式提升TTS的域外说话人适配性能,并在两种设置下达到最先进水平。
2024-04-06 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL(三菱电机研究实验室)
当训练数据域和测试数据域不匹配时,自动语音识别(ASR)系统的性能通常会显著下降。在本文中,我们表明,自训练(ST)结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST,这是一种基于辍学的不确定性驱动的自我训练技术,它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据,这导致与没有滤波的ST相比大大改善了ASR结果,并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明,高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Exploring Speech Foundation Models for Speaker Diarization in Child-Adult Dyadic Interactions
University of Southern California(南加州大学);Boston University(波士顿大学)
本文评估语音基础模型在儿童-成人双人互动说话人日志中的表现,通过音频窗口、人群特征和训练数据比例等基准实验,证明其显著降低日志错误与说话人混淆。
2024-06-12 cs.CL cs.LG eess.AS
In-Context Adaptation of Encoder-Decoder Models in Speech Recognition
University of Edinburgh(爱丁堡大学)
本研究探究上下文自适应是否为所有编码器-解码器语音识别模型的固有能力,通过六种模型和两种示例形式验证,发现均能实现自适应,且词汇与说话人信息均有贡献,表明该能力具有普遍性。
2026-09-29 cs.CL cs.SD eess.AS
Speaker Adaptation for Attention-Based End-to-End Speech Recognition
Microsoft Corporation(微软公司)
我们提出了三种基于正则化的说话人自适应方法,以适应基于注意力的编码器-解码器(AED)模型与非常有限的适应数据从目标说话人的端到端自动语音识别。第一种方法是Kullback-Leibler发散(KLD)正则化,其中通过将KLD正则化添加到自适应标准中,迫使说话者相关(SD)AED的输出分布接近说话者无关(SI)模型的输出分布。为了弥补KLD正则化中的不对称缺陷,提出了一种对抗性说话人自适应(ASA)方法,通过辅助学习器和SD AED的对抗性学习来正则化SD AED的深度特征分布.第三种方法是多任务学习,其中SD AED被训练为联合执行预测大量输出单元的主要任务和预测少量输出单元的辅助任务,以减轻目标稀疏性问题。微软短消息听写任务的评估,所有三种方法都非常有效地适应AED模型,实现了高达12.2%和3.0%的字出错率改善超过一个SI AED训练从3400小时的数据,分别为监督和无监督的适应。
2019-11-09 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
在本文中,我们研究了使用对抗学习来无监督地适应看不见的记录条件,更具体地说,是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明,我们提出的方法实现了19.8%的相对字错误率(WER)减少相比,未适应的模型。此外,这种自适应方法是有益的,即使当从另一种语言(即法语)的数据上进行,给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Child ASR Adaptation with Adult Retention: An Empirical Study
Qatar Computing Research Institute(卡塔尔计算研究所)
本研究实证比较了多种ASR适配方法在儿童语音上的效果,发现直接适配会损害成人性能,而权重空间合并(如LERP和TIES)能更好地平衡儿童适配与成人保留。
2026-10-08 cs.AI cs.CL cs.LG
Improving Distortion Robustness of Self-supervised Speech Processing Tasks with Domain Adaptation
National Taiwan University(台湾大学);Google Brain(谷歌大脑)
语音失真是一个长期存在的问题,它降低了监督训练的语音处理模型的性能。因此,我们需要提高语音处理模型的鲁棒性,以在不损害原始语音处理性能的前提下,在遇到语音失真时获得良好的性能。在这项工作中,我们提出了提高域对抗训练(DAT)的语音处理模型的鲁棒性。我们进行了实验的SUPERB框架的基础上,五个不同的语音处理任务。如果我们并不总是知道语音数据的失真类型,我们分析了二进制域和多域设置,其中前者将所有失真的语音视为一个域,而后者将不同的失真视为不同的域。与监督训练方法相比,我们在目标域中获得了有希望的结果,其中语音数据被不同的失真所扭曲,包括测试过程中引入的新的不可见失真。
2022-07-25 cs.LG cs.SD eess.AS
In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
本文提出通过词级时间戳预测提升ASR性能,采用轻量训练策略增强对齐鲁棒性,实验证明在多个数据集上提升了时间戳准确性和整体ASR表现。
2026-04-14 cs.CL cs.LG cs.SD
Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer
ByteDance(字节跳动)
针对端到端语音识别中纯文本域自适应的难题,提出USTR-CT方法,通过额外文本编码器学习统一表示且推理时移除,结合单/多步自适应,在目标域WER相对降44%,还可结合ILME进一步提效。
2023-06-07 cs.CL cs.SD eess.AS
Speech Recognition Rescoring with Large Speech-Text Foundation Models
Amazon Science(亚马逊科学研究院)
本文提出利用多模态大型语言模型进行ASR重打分的新技术,结合判别式训练与跨模态知识迁移,实验证明其相对Whisper large ASR和纯文本LLM分别实现高达20%和15%的提升。
2024-09-25 cs.CL cs.SD eess.AS
Continual Speaker Adaptation for Text-to-Speech Synthesis
University of St.Gallen(圣加仑大学)
从头开始训练多说话者文本到语音(TTS)模型在计算上是昂贵的,并且向数据集添加新的说话者需要重新训练模型。对于新的扬声器,对模型进行顺序微调的天真解决方案可能导致旧扬声器的性能不佳。这种现象被称为灾难性遗忘。在本文中,我们从持续学习的角度来看待TTS建模,其目标是在不忘记先前发言者的情况下添加新的发言者。因此,我们首先提出了一个实验设置,并表明,串行微调新的扬声器可能会导致忘记较早的扬声器。然后,我们利用两个著名的技术持续学习,即经验重放和权重正则化。我们揭示了如何可以减轻退化的影响,在语音合成多样性的顺序训练的新的扬声器使用这些方法。最后,我们提出了一个简单的扩展来体验重播,以改善我们可以访问非常小的缓冲区的极端设置中的结果。
2022-03-31 cs.CL cs.LG cs.SD
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne(墨尔本大学);UNSW Sydney(新南威尔士大学悉尼分校)
针对太平洋土著语言数据稀缺和灾难性遗忘问题,研究语音基础模型的适应策略,发现LoRA在顺序学习中会灾难性遗忘,需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University(南洋理工大学);NVIDIA Research(英伟达研究院);IBM Research(IBM研究院);Tsinghua University(清华大学)
提出无监督自适应框架STAR,利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性,通过新颖指标评估伪标签质量,实现平均13.5%的词错误率降低,并防止灾难性遗忘,数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
E-BATS: Efficient Backpropagation-Free Test-Time Adaptation for Speech Foundation Models
The University of Melbourne(墨尔本大学);University of Auckland(奥克兰大学);Nokia Bell Labs, UK(诺基亚贝尔实验室(英国));University of Birmingham(伯明翰大学)
E-BATS是一种专为语音基础模型设计的高效无反向传播测试时间适应框架,通过轻量级提示适应、多尺度损失和测试时间指数移动平均机制,在适应效果和内存效率之间取得平衡,实现了4.1%-13.5%的准确率提升和2.0-6.4倍的GPU内存节省。
2026-02-23 cs.LG cs.SD eess.AS
Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition
Amazon Inc.(亚马逊公司);Meta AI
尽管基于深度学习的端到端自动语音识别(ASR)近年来表现出了卓越的性能,但它在从不同数据分布中提取的测试样本上存在严重的性能回归。测试时自适应(TTA),以前在计算机视觉领域进行过探索,旨在调整在源域上训练的模型,以便在不访问源数据的情况下,为测试样本(通常是域外)提供更好的预测。在这里,我们提出了单话语测试时间适应(SUTA)框架的ASR,这是第一个TTA研究ASR,以我们最好的知识。单话语TTA是更现实的设置,其不假设测试数据是从相同的分布中采样的,并且不会由于针对该批自适应数据的预收集而延迟按需推理。SUTA由无监督目标和有效的适应策略组成。实验结果表明,SUTA有效地提高了源ASR模型在多个领域外目标语料库和领域内测试样本上的性能。
2022-06-21 cs.CL cs.SD eess.AS
Resource-Efficient Transfer Learning From Speech Foundation Model Using Hierarchical Feature Fusion
Google LLC(谷歌有限责任公司)
语音基础模型的自我监督预训练,然后进行监督微调,在自动语音识别(ASR)任务上显示出令人印象深刻的质量改进。由于基础模型通常非常大,因此为许多下游任务微调单独的基础模型是昂贵的。参数高效微调方法(例如适配器、稀疏更新方法)提供了一种替代范例,其中更新一小组参数以使基础模型适应新任务。然而,这些方法仍然存在高计算内存成本和低训练速度的问题,因为它们在每一步都需要通过整个神经网络进行反向传播。在本文中,我们分析了在语音识别任务的基础模型的不同层的功能的性能,并提出了一种新的分层特征融合方法的资源有效的迁移学习从语音基础模型。实验结果表明,与现有算法相比,该方法在语音识别任务上具有更好的性能,且可训练参数少,计算内存开销小,训练速度快。在所有层与Adapters相结合后,该方法可以实现与微调整个模型相同的性能,但$97\%$可训练的编码器参数更少,$53\%$训练速度更快。
2022-11-04 cs.LG cs.SD eess.AS
Sample-Efficient Unsupervised Domain Adaptation of Speech Recognition Systems A case study for Modern Greek
National Technical University of Athens(雅典国家技术大学);Institute for Speech and Language Processing, Athena Research Center(雅典娜研究中心语音与语言处理研究所)
现代语音识别系统在域移位下表现出快速的性能下降。这个问题在数据稀缺的环境中尤其普遍,例如资源少的语言,其中训练数据的多样性有限。在这项工作中,我们提出了M2 DS 2,这是一种简单且样本高效的微调策略,适用于大型预训练语音模型,基于混合源和目标域自监督。我们发现,包括源域自我监督稳定的训练,并避免模式坍塌的潜在表示。为了进行评估,我们收集HParl,一个$120$小时的语音语料库希腊,在希腊议会全体会议组成。我们将HParl与两个流行的希腊语料库合并,以创建GREC-MD,这是一个用于希腊ASR系统多域评估的测试平台。在我们的实验中,我们发现,虽然其他无监督领域自适应基线在这种资源受限的环境中失败,但M2 DS 2对跨领域自适应产生了显着的改进,即使只有几个小时的域内音频可用。当我们在弱监督设置中放松问题时,我们发现使用M2 DS 2的音频和使用简单LM增强技术的语言的独立适应特别有效,产生与完全监督基线相当的单词出错率。
2022-12-31 cs.CL cs.SD eess.AS
Libri-Adapt: A New Speech Dataset for Unsupervised Domain Adaptation
University College London(伦敦大学学院);Nokia Bell Labs(诺基亚贝尔实验室);University of Oxford(牛津大学)
本文介绍了一个新的数据集,Libri-Adapt,支持语音识别模型的无监督域自适应研究。Libri-Adapt建立在LibriSpeech语料库之上,包含在移动和嵌入式麦克风上录制的英语语音,并跨越72个不同的领域,这些领域代表了ASR模型遇到的具有挑战性的实际场景。更具体地说,Libri-Adapt有助于研究ASR模型中由a)不同声学环境,b)扬声器口音的变化,c)麦克风硬件和平台软件的异质性,以及d)上述三种变化的组合引起的域偏移。我们还提供了一些基线结果,量化了这些域转移对Mozilla DeepSpeech 2 ASR模型的影响。
2020-09-06 cs.LG cs.SD eess.AS
End-to-end Adaptation with Backpropagation through WFST for On-device Speech Recognition System
Sony Corporation(索尼公司)
设备上的DNN-HMM语音识别系统在存在各种可预测噪声的情况下有效地利用有限的词汇。在这种情况下,词汇和环境适应非常有效。在本文中,我们提出了一种新的方法,端到端(E2 E)的适应,它不仅调整声学模型(AM),但也加权有限状态传感器(WFST)。我们将预训练的WFST转换为可训练的神经网络,并通过与AM的E2 E联合训练使系统适应目标环境/词汇。我们用前向-后向神经网络计算复制Viterbi解码,这类似于递归神经网络(RNN)。通过合并输出分数序列,获得每个话语的词汇后验,并用于判别损失计算。使用2- 10小时的英语/日语自适应数据集的实验表明,只有WFST和只有AM的微调都相当于一个国家的最先进的自适应方法,和E2 E联合训练的两个组件实现了最佳的识别性能。我们还适应每个语言系统的其他语言使用的适应数据,结果表明,所提出的方法也适用于语言适应。
2019-06-24 cs.CL cs.SD eess.AS
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是,获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而,从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中,我们提出了一种新的无监督自适应方法,学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示(例如,扬声器和通道)使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语,我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法,我们专注于一个通道失配设置,其中感兴趣的域是遥远的对话语音,标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集,优于所有基线和弥合之间的差距,不使用任何并行数据超过77%,不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Optimal Transport-based Adaptation in Dysarthric Speech Tasks
Italian Institute of Technology(意大利理工学院);University of Ferrara(费拉拉大学);University of Genoa(热那亚大学);PerVoice(PerVoice公司)
在许多实际应用中,训练数据(源)和测试数据(目标)分布之间的不匹配会显著降低机器学习算法的性能。在语音数据中,这种失配的原因包括不同的声学环境或扬声器特性。在本文中,我们解决这个问题的构音障碍的语音,多源域/说话人自适应(MSDA/MSSA)的挑战性的背景下。具体来说,我们建议使用基于最优传输的方法,称为MSDA通过加权联合最优传输(MSDA-WDJOT)。我们面临的构音障碍检测中的失配问题,所提出的方法优于基线和最先进的MSDA模型,提高了0.9%的检测精度比最好的竞争对手的方法。然后,我们采用MSDA-WJDOT构音障碍的扬声器适应命令语音识别。这提供了一个命令出错率相对减少16%和7%的基线和最好的竞争对手的模型,分别。有趣的是,MSDA-WJDOT提供了源和目标之间的相似性得分,即在这种情况下,扬声器之间的相似性得分。我们利用这种相似性度量来定义目标说话者的构音障碍和健康评分,并以95%的准确率诊断构音障碍。
2022-03-14 cs.CL cs.SD eess.AS
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research(微软研究院)
在本文中,我们研究了使用预测-自适应-校正循环神经网络(PAC-RNN)的低资源语音识别。PAC-RNN由一对神经网络组成,其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络(DNN,LSTM)。此外,从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Chinese Academy of Sciences(中国科学院);China National Research Council Canada(中国国家研究委员会加拿大);Institute of Software(软件研究所)
本文提出一种基于MoE的零样本说话人自适应框架,通过即时预测路由参数动态组合适配器专家,在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Don't Stop Self-Supervision: Accent Adaptation of Speech Representations via Residual Adapters
AWS AI Labs(AWS人工智能实验室);University of Virginia(弗吉尼亚大学)
针对自监督语音表示在非母语口音上表现不佳的问题,提出通过训练口音特定残差适配器进行参数高效的自监督适应,在ASR任务中显著降低了词错误率,且方法与模型和任务无关。
2023-07-02 cs.CL cs.SD eess.AS
Incremental Layer-wise Self-Supervised Learning for Efficient Speech Domain Adaptation On Device
Google LLC(谷歌有限责任公司)
流传输端到端语音识别模型已经广泛应用于移动设备,并且在效率上显示出显著的提高。这些模型通常在服务器上使用转录的语音数据进行训练。但是,服务器数据分布可能与用户设备上的数据分布非常不同,这可能会影响模型性能。在设备上训练有两个主要挑战,有限的可靠标签和有限的训练记忆。虽然自监督学习算法可以使用未标记的数据来减轻域之间的不匹配,但由于内存限制,它们不直接适用于移动设备。在本文中,我们提出了一种增量式逐层自监督学习算法的有效语音领域自适应在移动设备上,其中只有一层更新的时间。大量的实验结果表明,该算法获得了一个字的出错率(WER)在目标域$24.2\%$优于监督基线和成本$89.7\%$更少的训练内存比端到端的自监督学习算法。
2021-10-01 cs.LG cs.SD eess.AS
Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
尽管近几十年来针对正常语音的自动语音识别(ASR)技术取得了快速进展,但迄今为止,构音障碍和老年语音的准确识别仍然是极具挑战性的任务。在正常言语中常见的异质性来源,包括口音或性别,当进一步与年龄和言语病理严重程度的变异性复合时,在说话者中产生了很大的多样性。为此,说话人自适应技术在为这些用户个性化ASR系统中起着关键作用。受构音障碍、老年人和正常言语之间的频谱-时间水平差异的启发,这些差异系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流利增加,本文提出了一种新的基于SVD语音谱分解的谱时间子空间基深度嵌入特征,以促进最先进的混合DNN/TDNN和端到端的基于辅助特征的说话人自适应。end Conformer语音识别系统。实验在四个任务上进行:英语UASpeech和TORGO构音障碍语音语料库;英语DementiaBank Pitt和粤语JCCOCC MoCA老年人语音数据集。所提出的频谱-时间深度特征自适应系统在字错误率(WER)方面的绝对(8.63%相对)降低率超过基线i-Vector和xVector自适应。一致的性能改善后,保留基于模型的说话人自适应学习隐藏单元贡献(LHUC)进一步应用。最好的扬声器适应系统使用建议的频谱基础嵌入功能产生了最低的公布WER的25.05%的UASpeech测试集的16个构音障碍的扬声器。
2022-03-17 cs.AI cs.LG cs.SD
A Multi-Discriminator CycleGAN for Unsupervised Non-Parallel Speech Domain Adaptation
Salesforce Research(赛富时研究院)
领域自适应对于语音识别模型起着重要的作用,特别是对于具有低资源的领域。提出了一种新的基于循环一致生成对抗网络(CycleGAN)的无监督非并行语音领域自适应生成模型。该模型在功率谱图上采用多个独立的鉴别器,每个鉴别器负责不同的频带。因此,我们有1)更好的鉴别器,专注于频率特征的细粒度细节,以及2)能够生成更真实的域适应谱图的生成器。我们证明了我们的方法对性别适应的语音识别的有效性,其中模型在训练期间只能访问来自一种性别的监督数据,但在测试时对另一种性别进行评估。我们的模型是能够实现的平均$7.41\%$音素错误率,和$11.10\%$字出错率相对性能改善相比,基线,TIMIT和华尔街日报数据集,分别。从质量上讲,我们的模型在以其他领域的数据为条件时,也会生成更自然的语音。
2018-07-09 cs.CL cs.LG
Transfer Learning from Adult to Children for Speech Recognition: Evaluation, Analysis and Recommendations
University of Southern California(南加利福尼亚大学)
儿童语音识别是具有挑战性的,主要是由于儿童的身体和发音特征和表达的固有高度可变性。由于儿童生活中快速变化的发展阶段,这种变化表现在声学结构和语言使用上。部分挑战是由于缺乏大量可用的儿童语音数据进行有效建模。本文试图在深度神经网络(DNN)框架下,利用从成人模型到儿童模型的迁移学习,解决儿童自动语音识别(ASR)任务在多个儿童语音语料库上的大词汇量评估的关键挑战。本文提出了一个系统的和广泛的分析建议迁移学习技术考虑到影响儿童的语音识别从以前的文献的关键因素。评估(i)早期GMM-HMM和较新的DNN模型的比较,(ii)标准自适应技术与迁移学习的有效性,(iii)各种自适应配置在解决儿童语音中存在的变化方面,(a)声学频谱变化,(b)发音变化和语言约束。我们的分析涵盖了(i)DNN模型参数的数量(用于适应),(ii)适应数据的数量,(iii)儿童的年龄,(iv)年龄依赖-独立适应。最后,我们提供了建议(i)在各种上述分析参数的有利策略,和(ii)潜在的未来研究方向和相关的挑战/问题,坚持在DNN为基础的ASR儿童的语音。
2018-05-08 cs.CL cs.SD eess.AS
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group(微软语音组)
神经传感器由于其自然的流式传输能力,成为目前最流行的语音识别端到端模型。然而,它是具有挑战性的,以适应它与纯文本数据。因子化神经传感器(FNT)模型的提出,以减轻这个问题。与标准神经传感器模型相比,FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是:在训练过程中增加CTC准则,在自适应过程中增加KL发散损失,使用预训练的语言模型来播种词汇预测器,以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外,使用词汇预测器的n-gram插值极大地提高了自适应速度,具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Advancing Test-Time Adaptation in Wild Acoustic Test Settings
National University of Singapore(新加坡国立大学)
针对野外声学测试场景下ASR微调声学基础模型性能下降、现有视觉TTA方法不适配语音特性的问题,提出置信度增强自适应方法,结合帧级置信度权重与一致性正则化,在多类场景下性能优于现有基线。
2024-10-05 cs.LG cs.SD eess.AS
SLM: Bridge the thin gap between speech and text foundation models
Google(谷歌)
本研究提出联合语音与语言模型SLM,通过仅训练1%参数量的适配器连接预训练语音和文本基础模型,既在传统语音任务上表现优异,又实现了零样本指令跟随的多样生成能力,验证了两类模型表征差距可通过简单适配弥合。
2023-09-30 cs.CL cs.SD eess.AS
Speech to Text Adaptation: Towards an Efficient Cross-Modal Distillation
Seoul National University(首尔国立大学);Search Solution Inc.(搜索解决方案公司)
言语是最有效的交际手段之一,它所包含的信息有助于表达者思想的传递。然而,主要由于声学特征的繁琐处理,音素或词的后验概率经常被丢弃在理解自然语言。因此,一些最近的口语语言理解(SLU)模块已经利用了保存不确定性信息的端到端结构。这进一步减少了语音识别误差的传播并保证了计算效率。我们认为,在这个过程中,语音理解可以受益于大量的预训练语言模型(LM)的推理。我们将知识从一个具体的基于transformer的文本LM转移到一个SLU模块,该模块可能面临数据短缺,基于最近的跨模态蒸馏方法。我们证明了我们的建议的有效性上的表现流利的语音命令,英语SLU基准。因此,我们通过实验验证了我们的假设,即知识可以从LM的顶层共享到一个完全基于语音的模块,其中抽象的语音预计将满足语义表示。
2020-08-08 cs.CL cs.SD eess.AS
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
儿童语音的声学建模是具有挑战性的,因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中,我们提出了一种特征自适应方法,通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone(绑定三音素状态)水平的声学不匹配,并利用大量转录的成人语音。我们验证所提出的方法上的三个任务:儿童语音识别,儿童发音评估,和儿童流畅度分数预测。实证结果表明,我们提出的方法始终优于竞争基线,实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition
Tencent AI Lab(腾讯人工智能实验室)
本文针对构音障碍和老年人语音识别中说话人数据稀缺问题,提出两种数据高效的即时特征自适应方法,在多个基准系统上取得显著词错率降低。
2023-05-28 cs.AI cs.LG cs.SD
Layer-wise Fast Adaptation for End-to-End Multi-Accent Speech Recognition
Shanghai Jiao Tong University(上海交通大学)
口音变异对自动语音识别建模提出了巨大的挑战。虽然基于独热口音向量的自适应系统是常用的,但它们需要关于目标口音的先验知识,并且不能处理看不见的口音。此外,简单地连接重音嵌入并不能很好地利用重音知识,其改进有限。在这项工作中,我们的目标是解决这些问题,注入到E2 E ASR模型编码器的一种新的逐层自适应结构。适配器层在口音空间中编码任意口音,并帮助ASR模型识别口音语音。对于给定的语音,自适应结构提取相应的口音信息,并通过所有口音基的线性组合将输入的声学特征转换为口音相关特征。我们进一步探索适应层的注入位置、重音基础的数量以及不同类型的重音基础,以实现更好的重音适应。实验结果表明,在AESRC 2020口音数据集和Librispeech数据集上,与基线相比,该自适应结构分别使相对单词出错率降低了12%和10%.
2022-04-21 cs.SD eess.AS
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
针对CTC架构多语言语音识别难以融入语言提示的问题,提出自条件CTC框架下的编码器提示技术,实现零样本语言适配,平均降错28%,低资源语言降错41%。
2024-06-18 cs.CL cs.SD eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge(剑桥大学)
本文提出一种通用声学对抗攻击方法,通过在输入语音前添加简短的对抗性声学片段,无需访问模型提示即可覆盖 ASR 基础模型的设置,成功控制 Whisper 模型将语音转录强制转变为语音翻译,揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation
Tsinghua University(清华大学);Peng Cheng Lab(鹏城实验室);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对语音与文本表征长度不一致导致纯文本域自适应效果不佳的问题,提出下采样声学表征对齐文本模态的策略,引入CIF模块生成匹配词元长度的声学表征,提升端到端ASR的新域性能。
2023-10-07 cs.CL cs.SD eess.AS
SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出SALSA方法,通过监督学习优化逐层引导向量,在儿童语音、多语种语音和普通话-英语代码切换基准上显著提升零样本推理和语音上下文学习性能,最高相对提升46.8%。
2026-05-30 cs.CL eess.AS
An Investigation of End-to-End Models for Robust Speech Recognition
Indian Institute of Technology Bombay(印度理工学院孟买分校)
用于鲁棒的自动语音识别(ASR)的端到端模型在先前的工作中还没有被充分地探索。对于端到端模型,可以选择使用语音增强技术来预处理输入语音,并使用增强的语音来训练模型。另一种选择是将噪声语音作为输入传递,并修改模型架构以适应噪声语音。以前还没有尝试过对这两种方法进行系统的端到端鲁棒ASR比较。我们解决了这一差距,并提出了一个详细的比较语音增强为基础的技术和三种不同的基于模型的适应技术,包括数据增强,多任务学习和对抗性学习的强大的ASR。虽然对抗性学习是对某些噪声类型性能最好的技术,但它的代价是降低了干净语音的WER。在其他相对平稳的噪声类型,一种新的语音增强技术优于所有基于模型的自适应技术。这表明,知识的基础噪声类型可以有意义地通知适应技术的选择。
2021-02-11 cs.LG cs.SD eess.AS
Test-Time Adaptation Toward Personalized Speech Enhancement: Zero-Shot Learning with Knowledge Distillation
Fictional University(虚构大学);University Imagination(想象大学);Important Laboratory(重要实验室);Indiana University(印第安纳大学)
在终端用户设备的实际语音增强设置中,我们经常只遇到少数扬声器和噪声类型,这些扬声器和噪声类型往往会在特定声学环境中重新出现。我们提出了一种新的个性化的语音增强方法,以适应一个紧凑的去噪模型的测试时间特异性。我们的目标是在这个测试时间适应是利用没有干净的语音目标的测试发言人,从而满足要求的zero-shot学习。为了弥补缺乏干净的话语,我们采用知识蒸馏框架。代替缺失的干净话语目标,我们从过大的教师模型中提取更高级的去噪结果,并将其用作伪目标来训练小的学生模型。这种zero-shot学习过程规避了收集用户的干净语音的过程,由于隐私问题和记录干净语音的技术困难,用户不愿意遵守该过程。在各种测试时间条件下的实验表明,与从大型扬声器和噪声不可知数据集训练的较大基线网络相比,所提出的个性化方法实现了显着的性能增益。此外,由于紧凑的个性化模型可以优于较大的通用模型,我们声称,所提出的方法进行模型压缩,而不会损失去噪性能。
2021-05-08 cs.LG cs.SD eess.AS
Speech foundation models in healthcare: Effect of layer selection on pathological speech feature prediction
Mayo Clinic(梅奥诊所)
本研究探索语音基础模型迁移学习中层选择对病理性语音特征预测的影响,发现最优层可显著提升性能但泛化性有限,而学习加权和方法兼顾了分布内性能与分布外泛化能力。
2024-06-21 cs.CL cs.LG eess.AS
AsyncSwitch: Asynchronous Text-Speech Adaptation for Code-Switched ASR
Institute for Infocomm Research (I²R) A STAR Singapore
针对语码转换ASR数据稀缺、现有合成音频方法计算成本高的问题,提出AsyncSwitch异步自适应框架,通过三阶段流程利用文本数据预训练再微调,在马来英转换任务上实现9.02%相对WER降低并提升单语言性能。
2025-06-17 cs.CL cs.SD eess.AS
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology(计算、信息与技术学院);Institute of Neuroinformatics(神经信息研究所);Department of Computational Linguistics(计算语言学系)
针对Whisper等ASR模型识别非规范受损语音困难的问题,提出一种轻量级语义重链流水线,通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型,实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
Black-box Adaptation of ASR for Accented Speech
Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们介绍了一个黑盒子,基于云的ASR系统,从目标口音语音适应的问题。虽然领先的在线ASR服务在主流口音上获得了令人印象深刻的性能,但它们在子人群上的表现很差-我们观察到Google的ASR API在印度口音上实现的单词错误率(WER)几乎是美国口音WER的两倍。现有的适应方法要么需要访问模型参数,要么在输出成绩单上覆盖纠错模块。我们强调需要将输出与原始语音相关联以修复口音错误。因此,我们提出了一种新的耦合的开源口音调整的本地模型与黑盒服务,从服务的输出指导帧级推理的本地模型。我们的细粒度合并算法是更好地在固定重音错误比现有的单词级组合策略。印度和澳大利亚的口音与三个领先的ASR模型作为服务的实验表明,我们实现了高达28%的相对减少WER在本地和服务模式。
2020-06-24 cs.CL cs.SD eess.AS
Domain Adaptation Using Class Similarity for Robust Speech Recognition
Institute of Acoustics(声学研究所);University of Chinese Academy of Sciences(中国科学院大学);China Mobile Online Services Company Limited(中国移动在线服务有限公司)
当只有有限的目标域数据可用时,域自适应可以通过利用经过良好训练的源模型和目标域数据来提高深度神经网络(DNN)声学模型的性能。然而,受领域失配和数据稀疏性的影响,领域自适应是非常具有挑战性的。提出了一种基于类相似度的DNN声学模型自适应方法。由于DNN模型的输出分布包含了类之间的相似性知识,这些知识适用于源域和目标域,因此可以将其从源模型转移到目标模型以提高性能。在我们的方法中,我们首先使用源模型计算源样本的帧级后验概率。然后,对于每个类,该类的概率用于计算均值向量,我们称之为均值软标签。在自适应期间,这些平均软标签用于正则化项中以训练目标模型。实验表明,我们的方法优于微调使用一个热标签的口音和噪音适应任务,特别是当源和目标域高度不匹配。
2020-11-05 cs.CL cs.SD eess.AS
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico(INESC-ID与理工学院)
本文提出AC-Mix方法,通过源域与目标域样本插值的对比混合进行自监督域自适应,在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS
Evaluation of Speech Foundation Models for ASR on Child-Adult Conversations in Autism Diagnostic Sessions
Signal Analysis and Interpretation Laboratory(信号分析与解释实验室);Department of Psychiatry(精神病学系);Semel Institute of Neuroscience and Human Behavior(Semel神经科学与人类行为研究所)
本研究评估了Whisper等语音基础模型在自闭症诊断会话儿童-成人对话ASR中的表现,发现儿童语音识别存在明显性能下降,并通过LoRA微调显著提升了识别准确率。
2025-08-14 cs.LG cs.SD eess.AS
OWSM-CTC: An Open Encoder-Only Speech Foundation Model for Speech Recognition, Translation, and Language Identification
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute Japan(日本本田研究所)
提出基于CTC的仅编码器语音基础模型OWSM-CTC,使用180k小时公开数据训练,在ASR和ST任务上取得竞争力且推理更快,促进开放科学。
2024-08-27 cs.CL cs.SD eess.AS