Continual learning for end-to-end automatic speech recognition has to contend with a number of difficulties. Fine-tuning strategies tend to lose performance on data already seen, a process known as catastrophic forgetting. On the other hand, strategies that freeze parameters and append tunable parameters must maintain multiple models. We suggest a strategy that maintains only a single model for inference and avoids catastrophic forgetting.
Our experiments show that a simple linear interpolation of several models' parameters, each fine-tuned from the same generalist model, results in a single model that performs well on all tested data. For our experiments we selected two open-source end-to-end speech recognition models pre-trained on large datasets and fine-tuned them on 3 separate datasets: SGPISpeech, CORAAL, and DiPCo. The proposed average of domain experts model performs well on all tested data, and has almost no loss in performance on data from the domain of original training.
Continual Learning Optimizations for Auto-regressive Decoder of Multilingual ASR systems
Digital Trust Centre, Nanyang Technological University(南洋理工大学数字信托中心);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
ApproBiVT: Lead ASR Models to Generalize Better Using Approximated Bias-Variance Tradeoff Guided Early Stopping and Checkpoint Averaging
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Academy of Broadcasting Science, National Radio and Television Administration(国家广播电视总局广播电视科学研究院);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
SynthASR: Unlocking Synthetic Data for Speech Recognition
Alexa Speech, Amazon.com(亚马逊Alexa语音)
端到端(E2 E)自动语音识别(ASR)模型最近已经证明了优于传统混合ASR模型的性能。训练E2 E ASR模型需要大量数据,这不仅昂贵,而且可能会增加对生产数据的依赖性。与此同时,由最先进的文本到语音(TTS)引擎生成的合成语音已经发展到接近人类的自然度。在这项工作中,我们建议在数据稀疏或难以获得ASR模型训练的应用中利用合成语音进行ASR训练(SynthASR)。此外,我们采用了一种新的多阶段训练策略来解决灾难性遗忘,通过加权多风格训练,数据增强,编码器冻结和参数正则化的混合来实现。在我们针对识别药物名称的新应用程序在内部数据集上进行的实验中,通过提出的多阶段训练使用合成音频训练ASR RNN-T模型,将新应用程序的识别性能相对提高了65%以上,而不会降低现有的一般应用程序。我们的观察表明,SynthASR在为新应用程序训练最先进的大规模E2 E ASR模型方面具有很大的潜力,同时降低了成本和对生产数据的依赖。
Speech-language Pre-training for End-to-end Spoken Language Understanding
Microsoft(微软)
端到端(E2 E)口语语言理解(SLU)可以直接从语音信号中推断语义,而无需将自动语音识别器(ASR)与自然语言理解(NLU)模块级联。然而,成对的话语记录和对应的语义可能并不总是可用的或不足以在真实的生产环境中训练E2 E SLU模型。在本文中,我们提出将优化的E2 E ASR编码器(语音)和预训练的语言模型编码器(语言)统一到Transformer解码器中。通过使用条件掩蔽语言模型(MLM)目标,统一的语音-语言预训练模型(SLP)在来自目标域的有限标记数据上不断增强,并且因此可以有效地生成用于推理中的给定输入语音的意图、槽类型和槽值的序列。在两个公开语料库上的实验结果表明,该方法在E2 E SLU上的性能优于传统的级联方法。它还优于目前最先进的E2 E SLU方法,配对数据少得多。
Enhancing Speech Large Language Models with Prompt-Aware Mixture of Audio Encoders
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Huawei Translation Services Center(华为翻译服务中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));College of Computer Science and Technology, Harbin Engineering University(哈尔滨工程大学计算机科学与技术学院);NiuTrans Research(NiuTrans研究院)
MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond
Center for Augmented Intelligence, Fondazione Bruno Kessler(增强智能中心,布鲁诺·凯斯勒基金会);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
NTU Speechlab LLM-Based Multilingual ASR System for Interspeech MLC-SLM Challenge 2025
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算机与数据科学学院);MiroMind, Singapore(MiroMind公司);Shanghai Jiao Tong University, China(上海交通大学);Peking University, China(北京大学)
本文介绍 NTU Speechlab 在 Interspeech 2025 MLC-SLM 挑战赛任务 I 中获得第 5 名的多语言 ASR 系统,通过语言特定提示和模型平均技术将平均混合错误率从 20.2% 降至 10.6%。
Training Speech Enhancement Systems with Noisy Speech Datasets
The University of Tokyo(东京大学);Sony Corporation(索尼公司)
最近,基于深度神经网络(DNN)的语音增强(SE)系统已经获得了巨大的成功。在训练期间,这样的系统需要干净的语音数据-理想地,具有各种声学条件、许多不同的说话者特性并且对于给定的采样率(例如,48 kHz(用于全频带SE)。然而,获得这种干净的语音数据并不简单-特别是如果只考虑公开可用的数据集。同时,具有期望的声学/说话者/采样率特性的用于自动语音识别(ASR)的许多材料是公开可用的,除了是干净的,即,它还包含背景噪声,因为为了具有噪声鲁棒的ASR系统,这甚至常常是期望的。因此,使用这样的数据来训练SE系统并不简单。在本文中,我们提出了两个改进的训练SE系统的噪声语音数据。首先,我们提出了几个修改的损失函数,这使得他们对嘈杂的语音目标的鲁棒性。特别地,在对时间-频率仓进行平均之前计算样本轴上的中值允许使用这样的数据。此外,我们还提出了一种用于混合不变训练(MixIT)的噪声增强方案,该方案也允许在这种情况下使用它。在我们的实验中,我们使用Mozilla Common Voice数据集,我们表明,与传统方式训练的系统相比,使用我们的鲁棒损失函数将PESQ提高了0.19。同样,对于MixIT,当使用我们提出的噪声增强时,我们可以看到PESQ的改善高达0.27。