Data Augmentation Methods for End-to-end Speech Recognition on Distant-Talk Scenarios
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
虽然端到端自动语音识别（E2 E ASR）在具有大量配对数据的任务中已经实现了很好的性能，但是使E2 E ASR对噪声和低资源条件具有鲁棒性仍然具有挑战性。在这项研究中，我们研究了远程通话场景中E2 E ASR的数据增强方法。E2 E ASR模型在一系列CHiME挑战数据集上进行训练，这些挑战数据集适合于研究对噪声和自发语音的鲁棒性。我们建议使用三种增强方法及其组合：1）使用文本到语音（TTS）数据的数据增强，2）循环一致的生成对抗网络（Cycle-GAN）增强训练映射两个不同的音频特征，干净的语音和嘈杂的录音，以匹配测试条件，以及3）由预训练的ASR模块提供的伪标签增强，用于平滑标签分布。使用CHiME-6/CHiME-4数据集的实验结果表明，每种增强方法都在传统SpecAugment的基础上单独提高了准确性;通过组合这些方法可以获得进一步的改进。我们实现了4.3\%的字错误率（WER）减少，这是更显着的SpecAugment，当我们结合所有三个增强CHiME-6任务。
2021-06-07 cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC（海盐人工智能有限责任公司）；Xiaoice, Microsoft Corporation（微软公司小冰团队）；Xiaomi Corporation（小米公司）
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题，特别是儿童语音识别训练数据不足的问题，提出了各种数据处理和增强技术。详细的实验设计和进行，以显示每种技术的有效性，在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统，该系统在2021年儿童语音识别挑战赛中提供了最先进的结果，在Track 1评估集上获得了21.66%的CER（总体排名第四），在Track 2评估集上获得了16.53%的CER（总体排名第一）。挑战后分析显示，我们的系统实际上在轨道1评估集上实现了18.82%的CER，但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Text-To-Speech Data Augmentation for Low Resource Speech Recognition
如今，用于自动语音识别（ASR）模型开发的深度学习技术的主要问题是缺乏转录数据。本研究的目标是提出一种新的数据增强方法，以改善粘着和低资源语言的ASR模型。这种新颖的数据增强方法生成合成文本和合成音频。一些实验是使用克丘亚语的语料库进行的，这是一种粘着和低资源的语言。在这项研究中，序列到序列（seq2seq）模型被应用于生成合成文本，除了生成合成语音使用文本到语音（TTS）模型克丘亚语。结果表明，新的数据增强方法可以很好地改善克丘亚语的ASR模型。在这项研究中，一个8.73%的改善，在字错误率（WER）的ASR模型得到了使用合成文本和合成语音的组合。
2022-04-01 cs.CL cs.SD eess.AS
Zero Shot Text to Speech Augmentation for Automatic Speech Recognition on Low-Resource Accented Speech Corpora
Microsoft（微软公司）；Imperial College London（帝国理工学院）
针对低资源口音语音数据不足导致ASR性能下降的问题，提出零样本TTS增强口音语料的策略，可将词错误率最高降低14%，优于仅用真实口音数据训练的模型。
2024-09-17 cs.SD eess.AS
Improving Whispered Speech Recognition Performance using Pseudo-whispered based Data Augmentation
Delft University of Technology（代尔夫特理工大学）
针对耳语语音训练数据稀缺导致ASR性能低的问题，提出基于信号处理的伪耳语数据增强方法，使端到端ASR词错误率相对降低18.2%，并发现声门信息缺失是主要影响因素。
2023-11-09 cs.SD eess.AS
Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本，以教授ASR系统有关受损语音的各种表现。在这里，我们开发并比较了不同的深度学习技术，以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本，这些说话者说了29个单词或短语，这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后，我们评估了使用3种方法开发的分类器：（1）为任务训练的卷积神经网络（CNN），（2）使用无监督目标的CNN的非语义语音表示训练的分类器[1]，以及（3）来自典型语音训练的ASR系统的声学（编码器）嵌入训练的分类器[2]。我们发现，ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明，ASR嵌入聚类语音的口语短语，而非语义嵌入聚类语音的说话人。此外，较长的短语比单个单词更能说明可理解性缺陷。
2021-07-08 cs.LG cs.SD eess.AS
Robust fine-tuning of speech recognition models via model merging: application to disordered speech
CallyopeFrance（卡利奥佩法国）
本研究通过模型合并方法改进构音障碍语音的ASR，以Whisper为基础，多运行合并相比经典微调降低12%的WER，在长音频上降低16.2%，且无需额外推理成本或调参。
2025-05-26 cs.SD eess.AS
Enhancing Pre-trained ASR System Fine-tuning for Dysarthric Speech Recognition using Adversarial Data Augmentation
The Chinese University of Hong Kong（香港中文大学）
本文针对构音障碍语音识别数据少、微调泛化差的问题，比较了多种数据增强方法，提出基于GAN的对抗数据增强，在UASpeech上显著降低WER并取得已发表最低错误率16.53%。
2024-01-01 cs.SD eess.AS
Towards Automatic Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对障碍语音识别数据稀缺的问题，提出基于强化学习的自动数据增强方法，用RNN策略控制器自动学习SpecAugment的掩码参数，在UASpeech语料上取得优于或媲美手工策略的效果。
2023-12-14 cs.SD eess.AS
PhasePerturbation: Speech Data Augmentation via Phase Perturbation for Automatic Speech Recognition
Massey University（梅西大学）；Dalian Maritime University（大连海事大学）；Shandong University（山东大学）
针对现有语音数据增强多基于波形或幅度谱的问题，提出动态作用于相位谱的PhasePerturbation方法，结合三种相位操作增强数据多样性，有效降低ASR词错误率，可与现有幅度谱增强方法互补提升性能。
2023-12-13 cs.AI cs.SD eess.AS
Improving Code-Switching and Named Entity Recognition in ASR with Speech Editing based Data Augmentation
Shanghai Jiao Tong University（上海交通大学）
针对端到端ASR在语码转换、命名实体识别场景的不足，以及传统数据增强生成语音质量差的问题，提出基于文本语音编辑的增强方法，效果优于现有方案。
2023-06-14 cs.CL cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
Investigation of Data Augmentation Techniques for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
无序语音识别是一项极具挑战性的任务。言语障碍患者的潜在神经运动状况，通常与共同发生的身体残疾相结合，导致难以收集系统开发所需的大量语音。本文研究了一套用于无序语音识别的数据增强技术，包括声道长度扰动、节奏扰动和速度扰动。在增强过程中，正常和无序的语音都被利用。在原始和增强数据中受损说话人之间的变异性建模使用学习隐藏单元贡献（LHUC）的说话人自适应训练。最后的扬声器自适应系统构建使用的UASpeech语料库和最佳的增强方法的基础上的速度扰动产生高达2.92%的绝对（9.3%相对）字出错率（WER）减少基线系统没有数据增强，并给出了一个整体WER为26.37%的测试集包含16个构音障碍的扬声器。
2022-01-14 cs.AI cs.LG cs.SD
A comparison of streaming models and data augmentation methods for robust speech recognition
Samsung Research（三星研究院）
在本文中，我们提出了两个不同的在线流语音识别模型：单调组块注意（MoChA）和递归神经网络传感器（RNN-T）的鲁棒性的比较研究。我们探讨了三个最近提出的数据增强技术，即，多条件训练使用声学模拟器，声道长度扰动（VTLP）的扬声器的变化，和SpecAugment。实验结果表明，单向模型通常对训练集中的噪声样本更敏感。据观察，模型的最终性能取决于数据增强技术处理的训练样本的比例。MoChA模型通常比RNN-T模型表现更好。然而，我们观察到MoChA模型的训练似乎对各种因素更敏感，例如训练集的特征和额外增强技术的结合。另一方面，RNN-T模型在延迟、推理时间和训练稳定性方面的表现优于MoChA模型。此外，RNN-T模型通常对噪声和混响更具鲁棒性。与MoChA模型相比，所有这些优点使RNN-T模型成为设备上流式传输语音识别的更好选择。
2021-11-19 cs.SD eess.AS
Speech Augmentation Based Unsupervised Learning for Keyword Spotting
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文研究了一种基于语音增强的无监督学习关键词识别方法。KWS是一个有用的语音应用程序，但也严重依赖于标记数据。我们设计了一个CNN-Attention架构来执行KWS任务。CNN层专注于局部声学特征，而注意力层对长时间依赖性进行建模。为了提高KWS模型的鲁棒性，我们还提出了一种无监督学习方法。无监督损失是基于原始和增强语音特征之间的相似性，以及音频重建信息。在无监督学习中，研究了两种语音增强方法：速度增强和强度增强。在Google Speech Commands V2数据集上的实验表明，我们的CNN-Attention模型具有竞争力的结果。此外，基于增强的无监督学习可以进一步提高KWS任务的分类精度。在我们的实验中，基于增强的无监督学习，我们的KWS模型实现了更好的性能比其他无监督的方法，如CPC，APC，MPC。
2022-05-28 cs.CL cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
TS-RIR: Translated synthetic room impulse responses for speech augmentation
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种提高远场语音识别的合成房间冲激响应质量的方法。我们的桥梁之间的差距，合成房间脉冲响应（RIR）的保真度和真实的房间脉冲响应使用我们的新的，TS-RIRGAN架构。给定原始音频形式的合成RIR，我们使用TS-RIRGAN将其转换为真实的RIR。我们还执行现实世界的子带房间均衡的翻译合成RIR。我们的整体方法通过补偿低频波效应来提高合成RIR的质量，类似于真实RIR中的那些。我们评估了改进的合成RIR在远场语音数据集上的性能，该数据集通过将LibriSpeech干净语音数据集[1]与RIR进行卷积并添加背景噪声来增强。我们表明，在Kaldi远场自动语音识别基准测试中，使用我们改进的合成RIR增强的远场语音将单词出错率降低了19.9%[2]。
2021-11-12 cs.SD eess.AS
Improving Multimodal Speech Recognition by Data Augmentation and Speech Representations
Speech and Dialogue Research Laboratory（语音与对话研究实验室）；University Politehnica of Bucharest（布加勒斯特理工大学）
多模态语音识别旨在通过利用通常与音频输入相关联的附加视觉信息来提高自动语音识别（ASR）系统的性能。虽然以前的方法对强大的视觉表示进行了关键性的使用，例如通过微调预训练的图像识别网络，但对其对应部分（语音组件）的关注却少得多。在这项工作中，我们调查的方式，改善基础语音识别系统以下类似的技术用于视觉编码器，即传输表示和数据增强。首先，我们证明了从预训练的ASR开始显着提高了最先进的性能;值得注意的是，即使在构建强大的单峰系统时，我们仍然可以通过包含视觉模态来获得收益。其次，我们采用语音数据增强技术，以鼓励多模态系统出席的视觉刺激。这种技术取代了以前使用的词掩蔽，并具有概念上更简单的好处，并在多模态设置中产生一致的改进。我们提供了三个多模态数据集的实证结果，包括新引入的本地化叙事。
2022-04-27 cs.SD eess.AS eess.IV
A Comparison of Speech Data Augmentation Methods Using S3PRL Toolkit
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文使用S3PRL工具包比较了SpecAugment、高斯噪声和速度扰动三种数据增强方法对HuBERT和wav2vec在音素识别与自动语音识别任务中的影响，发现SpecAugment略微提升原始数据性能，而噪声与速度扰动增强训练可提高模型鲁棒性。
2024-03-29 cs.AI cs.SD eess.AS
Speech Recognition With LLMs Adapted to Disordered Speech Using Reinforcement Learning
Google Research（谷歌研究院）
本文提出用音频 token 替换低频文本 token 使 LLM 能处理语音，并采用基于句法和语义奖励的强化学习替代监督微调，显著提升对 disordered speech 的适应能力。
2024-12-25 cs.CL cs.LG cs.SD
Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis
Toshiba Research Europe（东芝欧洲研究院）；Tohoku University（东北大学）；University of Sheffield（谢菲尔德大学）
本文提出利用无监督TTS从少量带口音语音生成合成数据以增强ASR训练，在Wav2vec2.0自监督框架下使词错误率相对降低最高达6.1%。
2024-07-04 cs.CL cs.SD eess.AS
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
MixSpeech: Data Augmentation for Low-resource Automatic Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了混合语音，一个简单而有效的数据增强方法的基础上mixup的自动语音识别（ASR）。MixSpeech通过采用两个不同语音特征（例如，Mel-频谱图或MFCC）作为输入，并识别两个文本序列，其中两个识别损失使用相同的组合权重。我们将MixSpeech应用于两个流行的端到端语音识别模型，包括LAS（Listen，Attend and Spell）和Transformer，并在几个低资源数据集上进行实验，包括TIMIT，WSJ和HKUST。实验结果表明，MixSpeech在没有数据增强的情况下比基线模型具有更好的准确率，并且在这些识别任务上优于强数据增强方法SpecAugment。具体来说，MixSpeech在TIMIT数据集上的相对PER改进为10.6 $\%$，优于SpecAugment，并在WSJ数据集上实现了4.7 $\%$的强劲WER。
2021-02-25 cs.CL cs.SD eess.AS
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University（孟加拉国布拉克大学）
Prodorshok I是一个孟加拉语孤立词数据集，旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别（ASR），以帮助改善人机交互（HCI）。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果，以评估其在利用具有高斯发射和深度神经网络（DNN）的隐马尔可夫模型（HMM）的ASR系统中的可靠性。结果表明，简单的数据增强，涉及一个小的音高变化，可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
Population Based Training for Data Augmentation and Regularization in Speech Recognition
Facebook AI Research（脸书人工智能研究院）
在优化过程中改变数据增强策略和正则化，与使用固定值相比，可以提高性能。我们表明，基于人口的训练是一个有用的工具，不断搜索这些超参数，在一个固定的预算。这大大简化了寻找这种最佳时间表的实验负担和计算成本。我们在语音识别中进行了实验，通过这种方式优化SpecAugment，以及dropout。与在训练过程中不改变这些超参数的基线相比，它具有8%的相对WER改善。在LibriSpeech的其他测试中，我们获得了5.18%的词出错率。
2020-10-08 cs.CL cs.SD eess.AS
Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language augmentation for Low Resource Self-Supervised Speech Models
School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院）
本文针对低资源语音自监督预训练数据不足问题，提出使用音高变化、噪声添加等音频增强策略，并通过实验证明组合合成增强优于口音和跨语言知识迁移，为低资源语言SSRL训练提供了可行方案。
2024-06-28 cs.CL cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Spectro-Temporal Deep Features for Disordered Speech Assessment and Recognition
1 The Chinese University of Hong Kong 2 Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。在正常言语中常见的变异性来源，包括口音、年龄或性别，当进一步与言语障碍的根本原因和不同的严重程度相结合时，会在说话者中产生很大的多样性。为此，说话人自适应技术在当前的语音识别系统中起着至关重要的作用。受语音障碍和正常语音之间的频谱-时间水平差异的启发，语音障碍系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流畅增加，提出了一种新的嵌入语音频谱SVD分解深度特征的谱-时子空间基，以便于准确的语音可懂度评估和基于辅助特征的说话人状态自适应。混合DNN和端到端无序语音识别系统。在UASpeech语料库上进行的实验表明，所提出的频谱-时间深度特征自适应系统在有或没有数据增强的情况下，字出错率（WER）的绝对（8.6%相对）降低一直优于基线i-Vector自适应。进一步应用了基于学习隐单元贡献的说话人自适应算法。使用所提出的谱基嵌入特征的最终说话者自适应系统在16个构音障碍说话者的UASpeech测试集上给出了25.6%的总体WER
2022-01-14 cs.AI cs.LG cs.SD
SpeechBlender: Speech Augmentation Framework for Mispronunciation Data Generation
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）
针对 L2 发音错误标注数据不足，本文提出 SpeechBlender 细粒度语音增强流水线，通过掩码与线性插值生成训练样本，并在多个基准上提升检测性能。
2023-07-12 cs.CL cs.SD eess.AS
Accurate synthesis of Dysarthric Speech for ASR data augmentation
University of Kentucky（肯塔基大学）；University of Connecticut（康涅狄格大学）；Marquette University（马凯特大学）
本文提出带严重程度系数和停顿插入模型的改进神经多说话人TTS，用于合成构音障碍语音以增强ASR训练数据，并在TORGO上显著降低WER。
2023-08-16 cs.LG cs.SD eess.AS
Enabling Automatic Disordered Speech Recognition: An Impaired Speech Dataset in the Akan Language
University of Ghana（加纳大学）
本研究提出一个阿坎语受损语音数据集，用于支持低资源自动混乱语音识别系统和辅助语音技术的研究。
2026-02-05 cs.AI cs.SD
Best Practices for Noise-Based Augmentation to Improve the Performance of Deployable Speech-Based Emotion Recognition Systems
University of Michigan（密歇根大学）
本文通过众包验证噪声会改变语音情感识别标注，揭示忽略此现象对模型评估的影响，并提出噪声增强最佳实践建议。
2023-08-31 cs.LG cs.SD eess.AS
Decoder-only Architecture for Speech Recognition with CTC Prompts and Text Data Augmentation
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
提出一种带有CTC提示和文本数据增强的decoder-only ASR架构，利用纯文本数据提升识别性能，在多个基准上降低词错率并提升计算效率。
2024-01-09 cs.SD eess.AS
Synthetic Data Domain Adaptation for ASR via LLM-based Text and Phonetic Respelling Augmentation
Hitachi, Ltd.（日立公司）
本文提出基于合成数据的域适应框架，通过大语言模型生成文本增强和音素重写增强，提升ASR在领域特定数据上的鲁棒性。
2026-03-11 cs.SD eess.AS
Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Maastricht University（马斯特里赫特大学）
序列到序列（S2 S）模型最近开始显示出用于自动语音识别（ASR）的最先进性能。对于这些大而深的模型，过拟合仍然是最大的问题，超过了可以从更好的架构中获得的性能改进。过拟合问题的一个解决方案是在数据增强的帮助下增加可用训练数据的量和训练数据所表现出的多样性。在本文中，我们研究了两个S2 S模型架构的性能上的三种数据增强方法的影响。其中一种数据增强方法来自于文献，而另外两种方法是我们自己开发的-频域时间扰动和子序列采样。我们在Switchboard和Fisher数据上的实验显示了S2 S模型的最新性能，这些模型仅在语音训练数据上进行训练，而不使用额外的文本数据。
2020-02-03 cs.CV cs.LG cs.SD
Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出结合基于信号的语速节奏调整与PWG对抗增强的多阶段方法，并通过Conformer微调和文本纠正，显著提升阿拉伯语构音障碍语音识别性能。
2023-06-07 cs.CL cs.SD eess.AS
Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对中文构音障碍语音识别数据少、说话人差异大的问题，提出 Perceiver-Prompt，通过 LoRA 微调 Whisper 并利用可训练 Perceiver 生成定长说话人提示，CER 最高相对降低 13.04%。
2024-06-14 cs.AI cs.SD eess.AS
STRATA: Word Boundaries & Phoneme Recognition From Continuous Urdu Speech using Transfer Learning, Attention, & Data Augmentation
FAST-NUCES（巴基斯坦国家科技大学（FAST-NUCES））
音素识别是NLP中一个很大程度上尚未解决的问题，特别是对于像乌尔都语这样的低资源语言。试图从音频语音中提取音素的系统需要手工标记的音标。这就要求语言学家用语音数据的相关语音表示来注释语音数据，这是一项既昂贵又繁琐的任务。在本文中，我们提出了STRATA，监督音素识别的框架，克服了低资源语言的数据稀缺问题，使用集成了迁移学习，注意力机制和数据增强的seq2seq神经架构。STRATA采用迁移学习将网络损耗减少一半。它使用注意力机制进行词边界和帧对齐检测，进一步减少了4%的网络损耗，并且能够以92.2%的准确率识别词边界。STRATA使用各种数据增强技术，进一步将损失减少1.5%，并且在泛化和准确性方面对新信号更加稳健。STRATA能够实现16.5%的音素出错率，并在TIMIT数据集（英语）和CSaLT数据集（乌尔都语）的最新水平上分别提高了1.1%和11.5%。
2022-04-16 cs.CL cs.SD eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
Towards Better Meta-Initialization with Task Augmentation for Kindergarten-aged Speech Recognition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
儿童的自动语音识别（ASR）一直是困难的，部分原因是数据稀缺的问题，特别是对于10岁的孩子。当数据稀缺时，模型可能会过拟合训练数据，因此良好的训练起点至关重要。最近，元学习被提出来学习不同语言的ASR任务的模型初始化（MI）。当模型适应于看不见的语言时，这种方法会带来良好的性能。然而，MI容易受到训练任务的过度拟合（学习者过度拟合）。也不知道MI是否推广到其他低资源任务。在本文中，我们验证了MI在儿童ASR中的有效性，并试图缓解学习者过度拟合的问题。为了实现模型不可知的元学习（MAML），我们把每个年龄段的儿童的语音作为一个不同的任务。在学习者过拟合方面，我们提出了一种任务级增强方法，通过使用频率弯曲技术模拟新的年龄。详细的实验表明，任务增强对每个年龄段的10岁以上的言语的影响。其结果是，我们的方法实现了相对字错误率（WER）的51%的改善基线系统没有增强或初始化。
2022-02-24 cs.CL cs.LG cs.SD
Deepfake audio as a data augmentation technique for training automatic speech to text transcription models
Systems and Computing Department（系统与计算部门）；Federal University of Campina Grande (UFCG)（坎皮纳格雷联邦大学）；Campina Grande, Brazil（巴西坎皮纳格雷）
本文提出利用深度伪造音频进行数据增强，以解决训练稳健语音转文本模型所需大规模多样化的标注数据获取难题，尤其针对非英语语言。
2023-09-22 cs.LG cs.SD eess.AS
Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（电子与通信工程系，印度尼特拉特技术学院Sikkim分校）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA（信号分析与解释实验室（SAIL），美国南加州大学洛杉矶分校）
针对构音障碍语音识别中数据稀缺和严重程度差异的问题，本文探索了四种数据增强方法（SRM、PM、FM、VTLP）对预训练Wav2Vec2模型进行微调，在不同严重程度上实现了显著的字错误率降低。
2026-06-19 cs.AI cs.SD eess.AS
Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition
Meta AI；FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
近年来，人们对有偏见的ASR数据集或模型的认识显著提高。即使对于英语，尽管有大量可用的训练数据，系统对于非母语者的表现更差。在这项工作中，我们改进了口音转换模型（ACM），将美国本土英语语音口音发音。我们在ACM训练中包括语音知识，以提供关于在合成波形中恢复某些发音模式的准确反馈。此外，我们研究的可行性学习口音表示，而不是静态嵌入。生成的数据然后用于训练两个最先进的ASR系统。我们在母语和非母语英语数据集上评估了我们的方法，发现合成口音数据有助于ASR更好地理解来自所见口音的语音。这一观察结果并没有转化为看不见的口音，也没有观察到一个专门用母语预先训练的模型。
2023-03-01 cs.CL cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies（华为技术有限公司 IT 创新研究中心）；Research Center, Huawei Technologies（华为技术有限公司 研究中心）
针对情境化普通话 ASR 面临的语音-文本数据不足问题，提出利用纯文本和码本查找的文本增强方法，以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
SpliceOut: A Simple and Efficient Audio Augmentation Method
Indian Institute of Technology Bombay（印度孟买理工学院）；Verisk Analytics（威睿凯分析公司）
时间掩蔽已经成为语音和音频任务的事实上的增强技术，包括自动语音识别（ASR）和音频分类，最显著的是作为SpecAugment的一部分。在这项工作中，我们提出了SpliceOut，一个简单的修改时间掩蔽，使其计算更有效。SpliceOut在各种语音和音频任务上的表现都超过（有时甚至超过）SpecAugment，包括使用不同数量的训练数据针对七种不同语言的ASR，以及语音翻译，声音和音乐分类，从而将自己确立为广泛适用的音频增强方法。当与其他增强技术结合使用时，SpliceOut还提供了额外的增益。除了全监督设置，我们还证明了SpliceOut可以补充无监督表示学习与半监督和自监督设置中的性能增益。
2021-10-13 cs.AI cs.LG cs.SD
On the Effectiveness of Neural Text Generation based Data Augmentation for Recognition of Morphologically Rich Speech
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
近年来，先进的神经网络模型已经渗透到自动语音识别（ASR）中，然而在语言建模中，许多系统仍然部分或全部依赖于传统的Back-off N-gram语言模型（BNLM）。其原因是训练和使用神经语言模型的高成本和复杂性，主要是通过添加第二次解码（重新评分）来实现。在我们最近的工作中，我们通过将知识从递归神经网络语言模型（RNNLM）转移到具有基于文本生成的数据增强的单通道BNLM，显着提高了会话语音转录系统的在线性能。在本文中，我们分析了可转移知识的数量，并证明了神经增强LM（RNN-BNLM）可以通过丢弃第二次解码并使系统具有实时能力来帮助捕获RNNLM的近50%的知识。我们还系统地比较了词和子词LM，并表明基于子词的神经文本增强在资源不足的情况下特别有益。此外，我们还表明，在第一遍使用RNN-BNLM，然后是神经第二遍，离线ASR结果甚至可以显着改善。
2020-06-09 cs.CL cs.SD eess.AS
Random Utterance Concatenation Based Data Augmentation for Improving Short-video Speech Recognition
ByteDance Research（字节跳动研究院）
针对短视频语音识别中训练与测试话语长度不匹配问题，提出随机话语拼接数据增强方法，在15种语言上平均降低5.72%词错误率并提升长度鲁棒性。
2023-05-25 cs.CL cs.SD eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
话语内语码转换（CS）在口语内容中的普遍性要求语音识别（ASR）系统处理混合语言。设计CS-ASR系统有许多挑战，主要是由于数据稀缺，语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音，以及单语数据。在这项工作中，我们提出了一个零样本学习CS-ASR的方法，通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束（EC），同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明，65.5%的相对减少语言模型困惑，7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明，超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
Contrastive Augmentation: An Unsupervised Learning Approach for Keyword Spotting in Speech Technology
Trine University（特莱恩大学）；Boston University（波士顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Dalhousie University（达尔豪斯大学）；Texas A&M University（德克萨斯农工大学）
本文提出CAB-KWS方法，将无监督对比学习与语音增强及压缩卷积架构相结合，在有限标注数据下提升关键词识别性能，并在Google Speech Commands V2数据集上验证了其有效性。
2024-08-31 cs.AI cs.SD eess.AS
SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition
我们提出SpecAugment，一个简单的数据增强方法的语音识别。SpecAugment直接应用于神经网络的特征输入（即，滤波器组系数）。增强策略包括扭曲的功能，掩蔽块的频率通道，和掩蔽块的时间步长。我们将SpecAugment应用于Listen，Attend和Spell网络，用于端到端的语音识别任务。我们在LibriSpeech 960 h和Swichboard 300 h任务上实现了最先进的性能，超过了之前的所有工作。在LibriSpeech上，在不使用语言模型的情况下，我们在其他测试中实现了6.8%的WER，在与语言模型浅融合的情况下实现了5.8%的WER。这与先前的7.5% WER的最先进的混杂系统相比。对于Switchboard，在不使用语言模型的情况下，我们在Hub 5 '00测试集的Switchboard/CallHome部分上实现了7.2%/14.6%，在浅融合的情况下实现了6.8%/14.1%，与之前最先进的混杂系统相比，WER为8.3%/17.3%。
2019-12-03 cs.CL cs.LG cs.SD
Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition
ITMO University（圣光机大学）；STC-innovations Ltd（STC创新有限公司）
随着语音助理的快速发展，使服务器预期的自动语音识别（ASR）解决方案适应直接设备已变得至关重要。研究人员和行业更喜欢将端到端ASR系统用于设备上的语音识别任务。这是因为与混杂系统相比，端到端系统可以在保持更高质量的同时节省资源。然而，构建端到端模型需要大量的语音数据。与语音助理相关的另一个具有挑战性的任务是个性化，这主要在于处理词汇表外（OOV）单词。在这项工作中，我们考虑建立一个有效的端到端的ASR系统，在低资源设置具有高OOV率，体现在巴贝尔土耳其语和巴贝尔格鲁吉亚任务。为了解决上述问题，我们提出了一种基于BPE-dropout技术的动态声学单元增强方法。它对话语进行非确定性的标记化，以扩展标记的上下文并将其分布规则化，以便模型识别未见过的单词。它还减少了对最佳子词词汇量搜索的需求。该技术提供了一个稳定的改善定期和个性化（OOV导向）语音识别任务（至少6%的相对WER和25%的相对F分数），在没有额外的计算成本。由于使用BPE-dropout，我们的单语土耳其语Conformer建立了具有竞争力的结果，具有22.2%的字符错误率（CER）和38.9%的单词错误率（WER），接近最好的多语言系统。
2021-03-12 cs.CL cs.LG cs.SD
Make More of Your Data: Minimal Effort Data Augmentation for Automatic Speech Recognition and Translation
Heidelberg University（海德堡大学）
本文提出一种通过拼接原始数据样本实现的低投入数据增强方法，经持续训练可提升多种语音模型的识别与翻译性能，且无需说话人信息，在多个数据集上验证了有效性。
2023-04-14 cs.CL cs.SD eess.AS
