Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language augmentation for Low Resource Self-Supervised Speech Models
School of Computer Science, University College Dublin（都柏林大学学院计算机科学学院）
本文针对低资源语音自监督预训练数据不足问题，提出使用音高变化、噪声添加等音频增强策略，并通过实验证明组合合成增强优于口音和跨语言知识迁移，为低资源语言SSRL训练提供了可行方案。
2024-06-28 cs.CL cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong（香港中文大学）
心理声学研究表明，局部时间反转（LTR）语音，即，在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别（ASR）系统对LTR语音的性能如何的问题。其基本目标是探索在端到端（E2 E）ASR模型的训练中部署LTR语音的可行性，作为提高识别性能的数据增强的尝试。本研究从实验开始，以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强，通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现，在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
SpeechBlender: Speech Augmentation Framework for Mispronunciation Data Generation
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）
针对 L2 发音错误标注数据不足，本文提出 SpeechBlender 细粒度语音增强流水线，通过掩码与线性插值生成训练样本，并在多个基准上提升检测性能。
2023-07-12 cs.CL cs.SD eess.AS
Learning from Real Stuttering: Synthetic Mandarin Stuttering Speech for Data Augmentation in Speech Recognition
TMCC, College of Computer Science, Nankai University, Tianjin, China（天津南开大学计算机科学与技术学院TMCC）
提出基于离散语音令牌的框架DisSpeech，通过显式口吃事件标签控制不同不流畅模式，结合非自回归掩码生成Transformer和韵律感知声学重建，在少于50小时数据下实现高质量可控口吃语音合成，有效提升ASR性能。
2026-10-14 cs.SD eess.AS
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Adversarial Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。为此，数据增强技术在当前无序的语音识别系统中起着至关重要的作用。与现有的数据增强技术仅修改说话速率或频谱轮廓的整体形状相比，在数据增强期间使用深度卷积生成对抗网络（DCGAN）对无序和正常语音之间的细粒度频谱-时间差异进行建模，以将正常语音频谱修改为更接近无序语音的频谱。在UASpeech语料库上进行的实验表明，在最先进的混合DNN系统上，所提出的对抗性数据增强方法始终优于使用节奏或速度扰动的基线增强方法。在不使用数据增强的情况下，在基线系统上获得了高达3.05%（相对9.7%）的总体字错误率（WER）降低。最后的学习隐藏单元贡献（LHUC）扬声器适应系统使用最好的对抗增强方法给出了一个整体的WER为25.89%的UASpeech测试集的16个构音障碍的扬声器。
2021-08-02 cs.SD eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Significance of Data Augmentation for Improving Cleft Lip and Palate Speech Recognition
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Indian Institute of Technology Dharwad（印度理工学院达尔瓦德分校）；Fortemedia Singapore（新加坡富迪科技）
由于各种原因，病理性语音的自动识别，特别是任何发音障碍的儿童，是一项具有挑战性的任务。缺乏可用的领域特定数据是阻碍其用于针对病理说话者的不同基于语音的应用的一个这样的障碍。为了应对这一挑战，在这项工作中，我们研究了一些数据增强技术来模拟训练数据，以提高儿童语音识别，考虑到唇腭裂（CLP）语音的情况。在这项研究中探索的增强技术，包括声道长度扰动（VTLP），混响，说话速率，音高修改和语音特征修改使用周期一致的对抗网络（CycleGAN）。我们的研究发现，数据增强方法显着提高了CLP语音识别的性能，这是更明显的，当我们使用特征修改CycleGAN，VTLP和混响为基础的方法。更具体地说，从这项研究的结果表明，我们的系统产生一个改进的电话错误率相比，没有数据增强的系统。
2021-10-02 cs.SD eess.AS
Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出结合基于信号的语速节奏调整与PWG对抗增强的多阶段方法，并通过Conformer微调和文本纠正，显著提升阿拉伯语构音障碍语音识别性能。
2023-06-07 cs.CL cs.SD eess.AS
Auditory-Based Data Augmentation for End-to-End Automatic Speech Recognition
University of Sheffield（谢菲尔德大学）
端到端模型在自动语音识别方面取得了显著的进步。提高这些模型性能的一种常用方法是通过数据扩充来扩展数据空间。与此同时，人类听觉启发的前端也证明了自动语音识别器的改进。在这项工作中，一个经过验证的基于听觉的模型，它可以模拟各种听力能力，研究的目的是数据增强端到端的语音识别。通过将听觉模型引入到数据增强过程中，鼓励端到端系统忽略无法听到的信号的变化，从而专注于语音识别的鲁棒特征。听觉模型中的两种机制，频谱拖尾和响度招募，研究了LibriSpeech数据集与基于transformer的端到端模型。实验结果表明，本文提出的增强方法可以显著提高SpecAugment算法的性能。
2022-04-08 cs.SD eess.AS
Fundamental Frequency Feature Normalization and Data Augmentation for Child Speech Recognition
University of California, Los Angeles（加州大学洛杉矶分校）
由于适合年龄的教育技术的重要性，需要用于幼儿的自动语音识别（ASR）系统。由于缺乏公开的幼儿语音数据，特征提取策略，如特征归一化和数据增强，必须考虑成功训练儿童ASR系统。本研究提出了一种新的技术，儿童ASR使用的特征归一化和数据增强方法的基础上共振峰和基频之间的关系（$f_o$）。$f_o$特征归一化和数据增强技术都被实现为Mel域中的频移。这些技术在儿童阅读语音ASR任务上进行评估。儿童ASR系统是通过调整基于成人语音训练的BLSTM声学模型来训练的。使用$f_o$规范化和数据增强的结果在一个相对的词错误率（WER）改善19.3%的基线时，测试的OGI儿童的语音语料库，和由此产生的儿童ASR系统实现了最好的WER目前在此语料库上报告。
2021-02-18 cs.SD eess.AS
STRATA: Word Boundaries & Phoneme Recognition From Continuous Urdu Speech using Transfer Learning, Attention, & Data Augmentation
FAST-NUCES（巴基斯坦国家科技大学（FAST-NUCES））
音素识别是NLP中一个很大程度上尚未解决的问题，特别是对于像乌尔都语这样的低资源语言。试图从音频语音中提取音素的系统需要手工标记的音标。这就要求语言学家用语音数据的相关语音表示来注释语音数据，这是一项既昂贵又繁琐的任务。在本文中，我们提出了STRATA，监督音素识别的框架，克服了低资源语言的数据稀缺问题，使用集成了迁移学习，注意力机制和数据增强的seq2seq神经架构。STRATA采用迁移学习将网络损耗减少一半。它使用注意力机制进行词边界和帧对齐检测，进一步减少了4%的网络损耗，并且能够以92.2%的准确率识别词边界。STRATA使用各种数据增强技术，进一步将损失减少1.5%，并且在泛化和准确性方面对新信号更加稳健。STRATA能够实现16.5%的音素出错率，并在TIMIT数据集（英语）和CSaLT数据集（乌尔都语）的最新水平上分别提高了1.1%和11.5%。
2022-04-16 cs.CL cs.SD eess.AS
Data Augmentation Methods for End-to-end Speech Recognition on Distant-Talk Scenarios
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
虽然端到端自动语音识别（E2 E ASR）在具有大量配对数据的任务中已经实现了很好的性能，但是使E2 E ASR对噪声和低资源条件具有鲁棒性仍然具有挑战性。在这项研究中，我们研究了远程通话场景中E2 E ASR的数据增强方法。E2 E ASR模型在一系列CHiME挑战数据集上进行训练，这些挑战数据集适合于研究对噪声和自发语音的鲁棒性。我们建议使用三种增强方法及其组合：1）使用文本到语音（TTS）数据的数据增强，2）循环一致的生成对抗网络（Cycle-GAN）增强训练映射两个不同的音频特征，干净的语音和嘈杂的录音，以匹配测试条件，以及3）由预训练的ASR模块提供的伪标签增强，用于平滑标签分布。使用CHiME-6/CHiME-4数据集的实验结果表明，每种增强方法都在传统SpecAugment的基础上单独提高了准确性;通过组合这些方法可以获得进一步的改进。我们实现了4.3\%的字错误率（WER）减少，这是更显着的SpecAugment，当我们结合所有三个增强CHiME-6任务。
2021-06-07 cs.SD eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
Adversarial Data Augmentation Using VAE-GAN for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。本文提出了一种新的变分自动编码器生成对抗网络（VAE-GAN）的个性化的无序语音增强方法，同时学习编码，生成和歧视合成受损语音。单独的潜在功能，推导出学习构音障碍的语音特征和音素上下文表示。还包含了自我监督的预训练Wav 2 vec 2.0嵌入功能。在UASpeech语料库上进行的实验表明，所提出的对抗性数据增强方法始终优于基线速度扰动和非VAE GAN增强方法，具有训练的混合TDNN和端到端Conformer系统。在LHUC扬声器自适应之后，使用基于VAE-GAN的增强的最佳系统在16个构音障碍扬声器的UASpeech测试集上产生了27.78%的总体WER，并且在具有“非常低”可懂度的扬声器子集上产生了57.31%的最低公布WER。
2023-03-19 cs.SD eess.AS
Synthetic Cross-accent Data Augmentation for Automatic Speech Recognition
Meta AI；FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
近年来，人们对有偏见的ASR数据集或模型的认识显著提高。即使对于英语，尽管有大量可用的训练数据，系统对于非母语者的表现更差。在这项工作中，我们改进了口音转换模型（ACM），将美国本土英语语音口音发音。我们在ACM训练中包括语音知识，以提供关于在合成波形中恢复某些发音模式的准确反馈。此外，我们研究的可行性学习口音表示，而不是静态嵌入。生成的数据然后用于训练两个最先进的ASR系统。我们在母语和非母语英语数据集上评估了我们的方法，发现合成口音数据有助于ASR更好地理解来自所见口音的语音。这一观察结果并没有转化为看不见的口音，也没有观察到一个专门用母语预先训练的模型。
2023-03-01 cs.CL cs.SD eess.AS
An efficient text augmentation approach for contextualized Mandarin speech recognition
IT Innovation and Research Center, Huawei Technologies（华为技术有限公司 IT 创新研究中心）；Research Center, Huawei Technologies（华为技术有限公司 研究中心）
针对情境化普通话 ASR 面临的语音-文本数据不足问题，提出利用纯文本和码本查找的文本增强方法，以低计算成本显著降低生僻词及整体 CER。
2024-06-14 cs.CL cs.SD eess.AS
Random Utterance Concatenation Based Data Augmentation for Improving Short-video Speech Recognition
ByteDance Research（字节跳动研究院）
针对短视频语音识别中训练与测试话语长度不匹配问题，提出随机话语拼接数据增强方法，在15种语言上平均降低5.72%词错误率并提升长度鲁棒性。
2023-05-25 cs.CL cs.SD eess.AS
PhasePerturbation: Speech Data Augmentation via Phase Perturbation for Automatic Speech Recognition
Massey University（梅西大学）；Dalian Maritime University（大连海事大学）；Shandong University（山东大学）
针对现有语音数据增强多基于波形或幅度谱的问题，提出动态作用于相位谱的PhasePerturbation方法，结合三种相位操作增强数据多样性，有效降低ASR词错误率，可与现有幅度谱增强方法互补提升性能。
2023-12-13 cs.AI cs.SD eess.AS
Data Augmentation For Children's Speech Recognition -- The "Ethiopian" System For The SLT 2021 Children Speech Recognition Challenge
Seasalt AI LLC（海盐人工智能有限责任公司）；Xiaoice, Microsoft Corporation（微软公司小冰团队）；Xiaomi Corporation（小米公司）
本文介绍了2021年儿童语音识别挑战赛的“埃塞俄比亚”系统。针对儿童语音识别问题，特别是儿童语音识别训练数据不足的问题，提出了各种数据处理和增强技术。详细的实验设计和进行，以显示每种技术的有效性，在不同的语音识别工具包和模型架构。我们逐步解释了我们如何提出最终系统，该系统在2021年儿童语音识别挑战赛中提供了最先进的结果，在Track 1评估集上获得了21.66%的CER（总体排名第四），在Track 2评估集上获得了16.53%的CER（总体排名第一）。挑战后分析显示，我们的系统实际上在轨道1评估集上实现了18.82%的CER，但我们向轨道1的挑战组织者提交了错误的版本。
2020-11-09 cs.SD eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI（卡纳里人工智能公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
话语内语码转换（CS）在口语内容中的普遍性要求语音识别（ASR）系统处理混合语言。设计CS-ASR系统有许多挑战，主要是由于数据稀缺，语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音，以及单语数据。在这项工作中，我们提出了一个零样本学习CS-ASR的方法，通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束（EC），同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明，65.5%的相对减少语言模型困惑，7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明，超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
Towards Better Meta-Initialization with Task Augmentation for Kindergarten-aged Speech Recognition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
儿童的自动语音识别（ASR）一直是困难的，部分原因是数据稀缺的问题，特别是对于10岁的孩子。当数据稀缺时，模型可能会过拟合训练数据，因此良好的训练起点至关重要。最近，元学习被提出来学习不同语言的ASR任务的模型初始化（MI）。当模型适应于看不见的语言时，这种方法会带来良好的性能。然而，MI容易受到训练任务的过度拟合（学习者过度拟合）。也不知道MI是否推广到其他低资源任务。在本文中，我们验证了MI在儿童ASR中的有效性，并试图缓解学习者过度拟合的问题。为了实现模型不可知的元学习（MAML），我们把每个年龄段的儿童的语音作为一个不同的任务。在学习者过拟合方面，我们提出了一种任务级增强方法，通过使用频率弯曲技术模拟新的年龄。详细的实验表明，任务增强对每个年龄段的10岁以上的言语的影响。其结果是，我们的方法实现了相对字错误率（WER）的51%的改善基线系统没有增强或初始化。
2022-02-24 cs.CL cs.LG cs.SD
Zero Shot Text to Speech Augmentation for Automatic Speech Recognition on Low-Resource Accented Speech Corpora
Microsoft（微软公司）；Imperial College London（帝国理工学院）
针对低资源口音语音数据不足导致ASR性能下降的问题，提出零样本TTS增强口音语料的策略，可将词错误率最高降低14%，优于仅用真实口音数据训练的模型。
2024-09-17 cs.SD eess.AS
Improving Whispered Speech Recognition Performance using Pseudo-whispered based Data Augmentation
Delft University of Technology（代尔夫特理工大学）
针对耳语语音训练数据稀缺导致ASR性能低的问题，提出基于信号处理的伪耳语数据增强方法，使端到端ASR词错误率相对降低18.2%，并发现声门信息缺失是主要影响因素。
2023-11-09 cs.SD eess.AS
Enhancing Pre-trained ASR System Fine-tuning for Dysarthric Speech Recognition using Adversarial Data Augmentation
The Chinese University of Hong Kong（香港中文大学）
本文针对构音障碍语音识别数据少、微调泛化差的问题，比较了多种数据增强方法，提出基于GAN的对抗数据增强，在UASpeech上显著降低WER并取得已发表最低错误率16.53%。
2024-01-01 cs.SD eess.AS
Improving Multimodal Speech Recognition by Data Augmentation and Speech Representations
Speech and Dialogue Research Laboratory（语音与对话研究实验室）；University Politehnica of Bucharest（布加勒斯特理工大学）
多模态语音识别旨在通过利用通常与音频输入相关联的附加视觉信息来提高自动语音识别（ASR）系统的性能。虽然以前的方法对强大的视觉表示进行了关键性的使用，例如通过微调预训练的图像识别网络，但对其对应部分（语音组件）的关注却少得多。在这项工作中，我们调查的方式，改善基础语音识别系统以下类似的技术用于视觉编码器，即传输表示和数据增强。首先，我们证明了从预训练的ASR开始显着提高了最先进的性能;值得注意的是，即使在构建强大的单峰系统时，我们仍然可以通过包含视觉模态来获得收益。其次，我们采用语音数据增强技术，以鼓励多模态系统出席的视觉刺激。这种技术取代了以前使用的词掩蔽，并具有概念上更简单的好处，并在多模态设置中产生一致的改进。我们提供了三个多模态数据集的实证结果，包括新引入的本地化叙事。
2022-04-27 cs.SD eess.AS eess.IV
A Comparison of Speech Data Augmentation Methods Using S3PRL Toolkit
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文使用S3PRL工具包比较了SpecAugment、高斯噪声和速度扰动三种数据增强方法对HuBERT和wav2vec在音素识别与自动语音识别任务中的影响，发现SpecAugment略微提升原始数据性能，而噪声与速度扰动增强训练可提高模型鲁棒性。
2024-03-29 cs.AI cs.SD eess.AS
Investigation of Data Augmentation Techniques for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
无序语音识别是一项极具挑战性的任务。言语障碍患者的潜在神经运动状况，通常与共同发生的身体残疾相结合，导致难以收集系统开发所需的大量语音。本文研究了一套用于无序语音识别的数据增强技术，包括声道长度扰动、节奏扰动和速度扰动。在增强过程中，正常和无序的语音都被利用。在原始和增强数据中受损说话人之间的变异性建模使用学习隐藏单元贡献（LHUC）的说话人自适应训练。最后的扬声器自适应系统构建使用的UASpeech语料库和最佳的增强方法的基础上的速度扰动产生高达2.92%的绝对（9.3%相对）字出错率（WER）减少基线系统没有数据增强，并给出了一个整体WER为26.37%的测试集包含16个构音障碍的扬声器。
2022-01-14 cs.AI cs.LG cs.SD
A comparison of streaming models and data augmentation methods for robust speech recognition
Samsung Research（三星研究院）
在本文中，我们提出了两个不同的在线流语音识别模型：单调组块注意（MoChA）和递归神经网络传感器（RNN-T）的鲁棒性的比较研究。我们探讨了三个最近提出的数据增强技术，即，多条件训练使用声学模拟器，声道长度扰动（VTLP）的扬声器的变化，和SpecAugment。实验结果表明，单向模型通常对训练集中的噪声样本更敏感。据观察，模型的最终性能取决于数据增强技术处理的训练样本的比例。MoChA模型通常比RNN-T模型表现更好。然而，我们观察到MoChA模型的训练似乎对各种因素更敏感，例如训练集的特征和额外增强技术的结合。另一方面，RNN-T模型在延迟、推理时间和训练稳定性方面的表现优于MoChA模型。此外，RNN-T模型通常对噪声和混响更具鲁棒性。与MoChA模型相比，所有这些优点使RNN-T模型成为设备上流式传输语音识别的更好选择。
2021-11-19 cs.SD eess.AS
Revisiting Interpolation Augmentation for Speech-to-Text Generation
College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；ByteDance（字节跳动）；NiuTrans Research（NiuTrans研究院）
针对低资源场景下语音转文本生成系统标注数据不足的问题，本文深入研究插值增强技术的效用，发现采用合适策略可在多种任务、架构和数据规模下显著提升性能，为资源受限场景下的鲁棒S2T系统提供新方向。
2024-06-22 cs.CL eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University（孟加拉国布拉克大学）
Prodorshok I是一个孟加拉语孤立词数据集，旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别（ASR），以帮助改善人机交互（HCI）。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果，以评估其在利用具有高斯发射和深度神经网络（DNN）的隐马尔可夫模型（HMM）的ASR系统中的可靠性。结果表明，简单的数据增强，涉及一个小的音高变化，可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
TS-RIR: Translated synthetic room impulse responses for speech augmentation
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种提高远场语音识别的合成房间冲激响应质量的方法。我们的桥梁之间的差距，合成房间脉冲响应（RIR）的保真度和真实的房间脉冲响应使用我们的新的，TS-RIRGAN架构。给定原始音频形式的合成RIR，我们使用TS-RIRGAN将其转换为真实的RIR。我们还执行现实世界的子带房间均衡的翻译合成RIR。我们的整体方法通过补偿低频波效应来提高合成RIR的质量，类似于真实RIR中的那些。我们评估了改进的合成RIR在远场语音数据集上的性能，该数据集通过将LibriSpeech干净语音数据集[1]与RIR进行卷积并添加背景噪声来增强。我们表明，在Kaldi远场自动语音识别基准测试中，使用我们改进的合成RIR增强的远场语音将单词出错率降低了19.9%[2]。
2021-11-12 cs.SD eess.AS
Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition
ITMO University（圣光机大学）；STC-innovations Ltd（STC创新有限公司）
随着语音助理的快速发展，使服务器预期的自动语音识别（ASR）解决方案适应直接设备已变得至关重要。研究人员和行业更喜欢将端到端ASR系统用于设备上的语音识别任务。这是因为与混杂系统相比，端到端系统可以在保持更高质量的同时节省资源。然而，构建端到端模型需要大量的语音数据。与语音助理相关的另一个具有挑战性的任务是个性化，这主要在于处理词汇表外（OOV）单词。在这项工作中，我们考虑建立一个有效的端到端的ASR系统，在低资源设置具有高OOV率，体现在巴贝尔土耳其语和巴贝尔格鲁吉亚任务。为了解决上述问题，我们提出了一种基于BPE-dropout技术的动态声学单元增强方法。它对话语进行非确定性的标记化，以扩展标记的上下文并将其分布规则化，以便模型识别未见过的单词。它还减少了对最佳子词词汇量搜索的需求。该技术提供了一个稳定的改善定期和个性化（OOV导向）语音识别任务（至少6%的相对WER和25%的相对F分数），在没有额外的计算成本。由于使用BPE-dropout，我们的单语土耳其语Conformer建立了具有竞争力的结果，具有22.2%的字符错误率（CER）和38.9%的单词错误率（WER），接近最好的多语言系统。
2021-03-12 cs.CL cs.LG cs.SD
Text Generation with Speech Synthesis for ASR Data Augmentation
Meta AI
本文探索用大规模预训练神经网络进行ASR文本增强，再经TTS合成语音扩充训练数据，在三个数据集上相对WER降低9%-15%，优于传统方法。
2023-05-22 cs.AI cs.CL cs.LG
Improving Audiovisual Speech Recognition through Synthetic Visual Data Augmentation
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
本研究利用音频驱动的说话人头像生成合成视觉数据，作为增强和独立训练资源，在西班牙语和加泰罗尼亚语上实现最高16.2%的相对词错误率降低，证明其可扩展解决AVSR数据稀缺问题。
2026-09-29 cs.CL cs.SD eess.AS
Accurate synthesis of Dysarthric Speech for ASR data augmentation
University of Kentucky（肯塔基大学）；University of Connecticut（康涅狄格大学）；Marquette University（马凯特大学）
本文提出带严重程度系数和停顿插入模型的改进神经多说话人TTS，用于合成构音障碍语音以增强ASR训练数据，并在TORGO上显著降低WER。
2023-08-16 cs.LG cs.SD eess.AS
SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition
我们提出SpecAugment，一个简单的数据增强方法的语音识别。SpecAugment直接应用于神经网络的特征输入（即，滤波器组系数）。增强策略包括扭曲的功能，掩蔽块的频率通道，和掩蔽块的时间步长。我们将SpecAugment应用于Listen，Attend和Spell网络，用于端到端的语音识别任务。我们在LibriSpeech 960 h和Swichboard 300 h任务上实现了最先进的性能，超过了之前的所有工作。在LibriSpeech上，在不使用语言模型的情况下，我们在其他测试中实现了6.8%的WER，在与语言模型浅融合的情况下实现了5.8%的WER。这与先前的7.5% WER的最先进的混杂系统相比。对于Switchboard，在不使用语言模型的情况下，我们在Hub 5 '00测试集的Switchboard/CallHome部分上实现了7.2%/14.6%，在浅融合的情况下实现了6.8%/14.1%，与之前最先进的混杂系统相比，WER为8.3%/17.3%。
2019-12-03 cs.CL cs.LG cs.SD
Best Practices for Noise-Based Augmentation to Improve the Performance of Deployable Speech-Based Emotion Recognition Systems
University of Michigan（密歇根大学）
本文通过众包验证噪声会改变语音情感识别标注，揭示忽略此现象对模型评估的影响，并提出噪声增强最佳实践建议。
2023-08-31 cs.LG cs.SD eess.AS
Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Maastricht University（马斯特里赫特大学）
序列到序列（S2 S）模型最近开始显示出用于自动语音识别（ASR）的最先进性能。对于这些大而深的模型，过拟合仍然是最大的问题，超过了可以从更好的架构中获得的性能改进。过拟合问题的一个解决方案是在数据增强的帮助下增加可用训练数据的量和训练数据所表现出的多样性。在本文中，我们研究了两个S2 S模型架构的性能上的三种数据增强方法的影响。其中一种数据增强方法来自于文献，而另外两种方法是我们自己开发的-频域时间扰动和子序列采样。我们在Switchboard和Fisher数据上的实验显示了S2 S模型的最新性能，这些模型仅在语音训练数据上进行训练，而不使用额外的文本数据。
2020-02-03 cs.CV cs.LG cs.SD
Towards Automatic Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对障碍语音识别数据稀缺的问题，提出基于强化学习的自动数据增强方法，用RNN策略控制器自动学习SpecAugment的掩码参数，在UASpeech语料上取得优于或媲美手工策略的效果。
2023-12-14 cs.SD eess.AS
Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（电子与通信工程系，印度尼特拉特技术学院Sikkim分校）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA（信号分析与解释实验室（SAIL），美国南加州大学洛杉矶分校）
针对构音障碍语音识别中数据稀缺和严重程度差异的问题，本文探索了四种数据增强方法（SRM、PM、FM、VTLP）对预训练Wav2Vec2模型进行微调，在不同严重程度上实现了显著的字错误率降低。
2026-06-19 cs.AI cs.SD eess.AS
Deepfake audio as a data augmentation technique for training automatic speech to text transcription models
Systems and Computing Department（系统与计算部门）；Federal University of Campina Grande (UFCG)（坎皮纳格雷联邦大学）；Campina Grande, Brazil（巴西坎皮纳格雷）
本文提出利用深度伪造音频进行数据增强，以解决训练稳健语音转文本模型所需大规模多样化的标注数据获取难题，尤其针对非英语语言。
2023-09-22 cs.LG cs.SD eess.AS
SpliceOut: A Simple and Efficient Audio Augmentation Method
Indian Institute of Technology Bombay（印度孟买理工学院）；Verisk Analytics（威睿凯分析公司）
时间掩蔽已经成为语音和音频任务的事实上的增强技术，包括自动语音识别（ASR）和音频分类，最显著的是作为SpecAugment的一部分。在这项工作中，我们提出了SpliceOut，一个简单的修改时间掩蔽，使其计算更有效。SpliceOut在各种语音和音频任务上的表现都超过（有时甚至超过）SpecAugment，包括使用不同数量的训练数据针对七种不同语言的ASR，以及语音翻译，声音和音乐分类，从而将自己确立为广泛适用的音频增强方法。当与其他增强技术结合使用时，SpliceOut还提供了额外的增益。除了全监督设置，我们还证明了SpliceOut可以补充无监督表示学习与半监督和自监督设置中的性能增益。
2021-10-13 cs.AI cs.LG cs.SD
Decoder-only Architecture for Speech Recognition with CTC Prompts and Text Data Augmentation
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
提出一种带有CTC提示和文本数据增强的decoder-only ASR架构，利用纯文本数据提升识别性能，在多个基准上降低词错率并提升计算效率。
2024-01-09 cs.SD eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore（联发科新加坡）
基于神经网络的语音识别系统由于口音语音，特别是不熟悉的口音而遭受性能下降。在本文中，我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图（类似的"积极"的数据样本）的对比学习，三个数据增强技术，包括噪声注入，频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验，我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示，这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明，对比学习比联合训练方法平均提高了3.66%（zero-shot）和3.78%（full-shot）的准确率。
2021-07-02 cs.LG cs.SD eess.AS
Contrastive Augmentation: An Unsupervised Learning Approach for Keyword Spotting in Speech Technology
Trine University（特莱恩大学）；Boston University（波士顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Dalhousie University（达尔豪斯大学）；Texas A&M University（德克萨斯农工大学）
本文提出CAB-KWS方法，将无监督对比学习与语音增强及压缩卷积架构相结合，在有限标注数据下提升关键词识别性能，并在Google Speech Commands V2数据集上验证了其有效性。
2024-08-31 cs.AI cs.SD eess.AS
Deep Transformer based Data Augmentation with Subword Units for Morphologically Rich Online ASR
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
最近，Deep Transformer模型已经被证明在ASR的语言建模任务中特别强大。然而，它们的高度复杂性使得它们很难在在线系统的第一（单）遍中应用。最近的研究表明，神经网络语言模型（LM）的相当一部分知识可以通过使用基于神经文本生成的数据增强转移到传统的n-gram。在我们的论文中，我们在一般文本语料库上预训练GPT-2 Transformer LM，并在匈牙利会话呼叫中心ASR任务上对其进行微调。我们表明，虽然使用Transformer生成的文本进行数据增强对于隔离语言效果很好，但它会导致形态丰富的语言中的词汇爆炸。因此，我们提出了一种新的方法，称为基于子词的神经文本增强，我们将生成的文本重新标记为统计派生的子词。我们比较了Morfessor和BPE统计子词标记器，并表明这两种方法可以显着提高WER，同时大大减少词汇量和内存需求。最后，我们还证明了基于子词的神经文本增强优于基于词的方法，不仅在整体WER方面，而且在识别OOV词方面。
2020-11-04 cs.CL eess.AS
Investigation on N-gram Approximated RNNLMs for Recognition of Morphologically Rich Speech
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；SpeechTex Ltd.（SpeechTex有限公司）；THINKTech Research Center（THINKTech研究中心）
识别匈牙利会话电话语音是具有挑战性的，由于非正式的风格和形态丰富的语言。递归神经网络语言模型（RNNLM）可以提供补救的高度困惑的任务，但是，两遍解码引入了相当大的处理延迟。为了消除这种延迟，我们研究了旨在降低RNNLM复杂性的方法，同时保持其准确性。我们比较了传统的退避n-gram语言模型（BNLM），RNNLM的BNLM近似（RNN-BNLM）和RNN n-gram在困惑度和单词出错率（WER）方面的性能。在语言模型中，形态丰富性通常通过使用统计派生的子词-形态来解决，因此我们的研究也扩展到基于形态的模型。我们发现，使用RNN-BNLM可以恢复RNNLM困惑减少的40%，这大致相当于RNN 4-gram模型的性能。结合基于形态的建模和近似的RNNLM，我们能够实现8%的相对WER减少，并保持我们的会话电话语音识别系统的实时操作。
2019-09-19 cs.CL eess.AS
Speech Synthesis as Augmentation for Low-Resource ASR
Raytheon BBN（雷神BBN公司）
语音合成可能是低资源语音识别的关键。数据增强技术已成为现代语音识别训练的重要组成部分。然而，它们是简单的，天真的，很少反映现实世界的条件。与此同时，语音合成技术已经快速地接近实现类人语音的目标。在本文中，我们研究了使用合成语音作为数据增强的一种形式，以降低构建语音识别器所需的资源的可能性。我们使用三种不同的合成器进行实验：统计参数合成器、神经合成器和对抗合成器。我们的发现很有趣，并为未来指明了新的研究方向。
2020-12-23 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译（S2 ST）模型遭受数据稀缺问题，因为与包括自动语音识别（ASR）、机器翻译（MT）和文本到语音（TTS）合成的常规级联系统可用的数据量相比，几乎不存在并行S2 ST数据。在这项工作中，我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译（S2 UT）框架，该框架将目标语音编码为离散表示，并通过研究语音编码器和离散单元解码器的预训练，将适用于语音到文本翻译（S2 T）的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明，与平均6.6-12.1 BLEU增益的多任务学习相比，自监督预训练始终提高了模型性能，并且可以进一步与数据增强技术相结合，该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
A study on cross-corpus speech emotion recognition and data augmentation
Toshiba Europe Limited（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
在语音情感识别（SER）中，能够处理各种说话人和声学条件的模型是必不可少的。通常，这些模型在呈现训练期间不可见的扬声器或声学条件时往往会显示混合结果。本文研究了跨语料库数据补充和数据增强对SER模型在匹配（测试集来自同一语料库）和不匹配（测试集来自不同语料库）条件下性能的影响。调查使用六个情感语音语料库，包括单个和多个扬声器，以及在情感风格（代理，引发，自然）和记录条件的变化。观察结果表明，正如预期的那样，在单个语料库上训练的模型在匹配条件下表现最好，而在不匹配条件下性能下降10-40%，具体取决于语料库的特定特征。在混合语料库上训练的模型在不匹配的上下文中可以更稳定，与匹配条件下的单语料库模型相比，性能降低范围从1%到8%。数据增强产生高达4%的额外增益，并且似乎比匹配条件更有利于不匹配条件。
2022-01-10 cs.CL cs.SD eess.AS
Adaptive Data Augmentation with NaturalSpeech3 for Far-field Speaker Verification
针对远场说话人语音标注数据稀缺、近远场声学环境不匹配的问题，提出基于NaturalSpeech3的自适应数据增强方法，生成保留说话人身份的伪远场语音，在FFSVC上性能优于传统及同类增强策略。
2025-01-15 cs.SD eess.AS
Selective Data Augmentation for Robust Speech Translation
针对英语—印地语端到端语音翻译，本文提出利用两个不完美 MT 服务生成含噪并行数据并进行选择性增强，相比暴力增强使 BLEU 绝对提升 1.59。
2023-04-25 cs.CL cs.SD eess.AS
