Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India(电子与通信工程系,印度尼特拉特技术学院Sikkim分校);Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA(信号分析与解释实验室(SAIL),美国南加州大学洛杉矶分校)
针对构音障碍语音识别中数据稀缺和严重程度差异的问题,本文探索了四种数据增强方法(SRM、PM、FM、VTLP)对预训练Wav2Vec2模型进行微调,在不同严重程度上实现了显著的字错误率降低。
2026-06-19 cs.AI cs.SD eess.AS
Something from Nothing: Data Augmentation for Robust Severity Level Estimation of Dysarthric Speech
1 University of Illinois Urbana-Champaign, IL, USA 2 Korea Advanced Institute of Science \& Technology, KR
提出三阶段框架,利用未标注构音障碍语音和典型语音数据集,通过教师模型生成伪标签、标签感知对比学习预训练和微调,在五个未见数据集上平均SRCC达0.761,显著优于现有方法。
2026-06-18 cs.AI cs.LG eess.AS
Low-Burden Data Augmentation for Dysarthric ASR via Zero-Shot Voice Cloning
DeepNet Discovery Network, University of Auckland, New Zealand(奥克兰大学深网发现网络, 新西兰);University of Illinois Urbana-Champaign, USA(伊利诺伊大学厄巴纳-香槟分校, 美国)
针对构音障碍语音数据稀缺和变异性大的问题,提出使用零样本语音克隆(Higgs Audio V2)生成合成数据,微调Whisper-medium模型,在TORGO数据集上达到与真实数据微调相近的词错误率,并显著降低数据收集成本。
2026-06-19 cs.LG eess.AS
Fairness in Dysarthric Speech Synthesis: Understanding Intrinsic Bias in Dysarthric Speech Cloning using F5-TTS
Speech Processing Lab, LTRC(语音处理实验室,LTRC)
本研究使用F5-TTS和TORGO数据集评估构音障碍语音克隆效果,发现模型在合成时严重偏向语音可懂度而牺牲说话人相似度与韵律,为公平性感知的语音合成提供了见解。
2025-08-15 cs.AI eess.AS
Augmenting Dysarthric Speech Severity Assessment with MOS Supervision
Tsinghua University(清华大学);Beijing University of Posts(北京邮电大学)
提出利用语音合成评估数据(QualiSpeech语料库的MOS标签)增强构音障碍语音评估,微调提升可懂度和自然度预测,联合训练主要提升自然度,减少对临床标注的依赖。
2026-06-18 cs.AI eess.AS
Synthesizing Dysarthric Speech Using Multi-talker TTS for Dysarthric Speech Recognition
University of Kentucky(肯塔基大学);University of Connecticut(康涅狄格大学);Marquette University(马凯特大学)
构音障碍是一种运动性言语障碍,其特征通常是通过缓慢、不协调的言语产生肌肉控制降低言语清晰度。自动语音识别(ASR)系统可以帮助构音障碍的说话者更有效地沟通。为了具有稳健的构音障碍特异性ASR,需要足够的训练语音,这是不容易获得的。文语转换(TTS)合成多说话人端到端TTS系统的最新进展表明,使用合成数据增强的可能性。在本文中,我们的目标是改善多扬声器端到端TTS系统合成构音障碍的语音,以改善构音障碍特异性DNN-HMM ASR的训练。在合成的语音,我们添加构音障碍的严重程度和暂停插入机制,以其他控制参数,如音高,能量和持续时间。结果表明,与基线相比,在额外的合成构音障碍语音上训练的DNN-HMM模型实现了12.2%的WER改善,添加严重程度和暂停插入控制使WER降低了6.5%,显示了添加这些参数的有效性。音频样本可在
2022-01-27 cs.CL cs.SD eess.AS
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University(卡内基梅隆大学);FAU Erlangen-Nürnberg(弗赖堡大学埃尔兰根-纽伦堡分校);Universidad de Antioquia(安东尼奥基亚大学);TU Delft(代尔夫特理工大学);Fortemedia(福特媒体)
针对低资源语言构音障碍语音识别数据稀缺问题,本文微调语音转换模型生成构音障碍样语音,增强多语言ASR,在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Towards Identity Preserving Normal to Dysarthric Voice Conversion
Nagoya University(名古屋大学);Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所)
我们提出了一个语音转换框架,将正常的语音转换成构音障碍的语音,同时保留扬声器的身份。这样的框架对于(1)临床决策过程和减轻患者压力,(2)构音障碍语音识别的数据增强是必不可少的。这是一个特别具有挑战性的任务,因为转换后的样本应该捕捉构音障碍语音的严重程度,同时是高度自然的,并拥有正常扬声器的扬声器身份。为此,我们采用了一个两阶段的框架,其中包括一个序列到序列的模型和一个非平行的帧明智的模型。对UASpeech数据集进行了客观和主观评价,结果表明,该方法能够产生合理的自然度和捕获病理语音的严重程度。另一方面,与正常源说话人的声音的相似性是有限的,需要进一步改进。
2021-10-15 cs.CL cs.SD eess.AS
Adversarial Data Augmentation Using VAE-GAN for Disordered Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
迄今为止,对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件,往往与共同发生的身体残疾,导致难以收集大量的受损语音所需的ASR系统的发展。本文提出了一种新的变分自动编码器生成对抗网络(VAE-GAN)的个性化的无序语音增强方法,同时学习编码,生成和歧视合成受损语音。单独的潜在功能,推导出学习构音障碍的语音特征和音素上下文表示。还包含了自我监督的预训练Wav 2 vec 2.0嵌入功能。在UASpeech语料库上进行的实验表明,所提出的对抗性数据增强方法始终优于基线速度扰动和非VAE GAN增强方法,具有训练的混合TDNN和端到端Conformer系统。在LHUC扬声器自适应之后,使用基于VAE-GAN的增强的最佳系统在16个构音障碍扬声器的UASpeech测试集上产生了27.78%的总体WER,并且在具有“非常低”可懂度的扬声器子集上产生了57.31%的最低公布WER。
2023-03-19 cs.SD eess.AS
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
尽管自动语音识别(ASR)技术在过去的几十年中取得了快速的进步,但迄今为止,对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络(DNN)的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作,在香港中文大学(CUHK),以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术,包括神经架构搜索,数据增强使用频谱时间扰动,基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别(AVSR)系统框架内,以解决上述挑战。这些技术的结合在UASpeech测试集(16名构音障碍说话者)上产生了最低的已发布单词错误率(WER),为25.21%,并且与中大2018年构音障碍语音识别系统相比,总体WER绝对降低了5.4%(相对降低了17.6%),该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出跨领域和跨语言的A2A反演方法,利用超声舌成像数据生成发音特征,在老年和构音障碍语音识别中显著降低词或字符错误率,优于仅用声学特征的基线系统。
2023-06-22 cs.AI eess.AS
Adversarial Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
迄今为止,对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件,往往与共同发生的身体残疾,导致难以收集大量的受损语音所需的ASR系统的发展。为此,数据增强技术在当前无序的语音识别系统中起着至关重要的作用。与现有的数据增强技术仅修改说话速率或频谱轮廓的整体形状相比,在数据增强期间使用深度卷积生成对抗网络(DCGAN)对无序和正常语音之间的细粒度频谱-时间差异进行建模,以将正常语音频谱修改为更接近无序语音的频谱。在UASpeech语料库上进行的实验表明,在最先进的混合DNN系统上,所提出的对抗性数据增强方法始终优于使用节奏或速度扰动的基线增强方法。在不使用数据增强的情况下,在基线系统上获得了高达3.05%(相对9.7%)的总体字错误率(WER)降低。最后的学习隐藏单元贡献(LHUC)扬声器适应系统使用最好的对抗增强方法给出了一个整体的WER为25.89%的UASpeech测试集的16个构音障碍的扬声器。
2021-08-02 cs.SD eess.AS
Towards Automatic Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
针对障碍语音识别数据稀缺的问题,提出基于强化学习的自动数据增强方法,用RNN策略控制器自动学习SpecAugment的掩码参数,在UASpeech语料上取得优于或媲美手工策略的效果。
2023-12-14 cs.SD eess.AS
Investigation of Data Augmentation Techniques for Disordered Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
无序语音识别是一项极具挑战性的任务。言语障碍患者的潜在神经运动状况,通常与共同发生的身体残疾相结合,导致难以收集系统开发所需的大量语音。本文研究了一套用于无序语音识别的数据增强技术,包括声道长度扰动、节奏扰动和速度扰动。在增强过程中,正常和无序的语音都被利用。在原始和增强数据中受损说话人之间的变异性建模使用学习隐藏单元贡献(LHUC)的说话人自适应训练。最后的扬声器自适应系统构建使用的UASpeech语料库和最佳的增强方法的基础上的速度扰动产生高达2.92%的绝对(9.3%相对)字出错率(WER)减少基线系统没有数据增强,并给出了一个整体WER为26.37%的测试集包含16个构音障碍的扬声器。
2022-01-14 cs.AI cs.LG cs.SD
DuTa-VC: A Duration-aware Typical-to-atypical Voice Conversion Approach with Diffusion Probabilistic Model
DuTa-VC提出一种时长感知的典型到非典型语音转换方法,利用扩散概率模型在非平行数据下保留目标说话人身份和音素时长,并通过UASpeech实验验证其能有效捕捉构音障碍特征、提升语音识别性能。
2023-06-18 eess.AS eess.SP
Adversarial Data Augmentation for Robust Speaker Verification
Beijing University of Post Telecommunications(北京邮电大学);Huawei Cloud(华为云);Tsinghua University(清华大学)
本文提出对抗性数据增强(A-DA),结合数据增强与对抗学习,通过增强分类器使说话人嵌入更稳健,在VoxCeleb和CN-Celeb上优于标准DA。
2024-02-05 cs.LG cs.SD eess.AS
Generative Data Augmentation Challenge: Synthesis of Room Acoustics for Speaker Distance Estimation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Treble Technologies(特雷布科技公司);University of Maryland(马里兰大学);Google Research(谷歌研究院);Amazon Lab126(亚马逊Lab126);Reykjavik University(雷克雅未克大学)
本文介绍ICASSP 2025生成式数据增强挑战,通过合成房间声学数据扩充房间脉冲响应数据集,以提升说话人距离估计等空间敏感下游任务的性能。
2025-01-22 cs.SD eess.AS
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
发音特征对于声学信号失真具有固有的不变性,并且已经成功地被结合到用于正常语音的自动语音识别(ASR)系统中。它们在障碍语音识别中的实际应用通常受到从受损说话者收集此类专业数据的困难的限制。本文提出了一种跨域的声学发音(A2 A)反演方法,该方法利用15小时TORGO语料库的并行声学发音数据进行模型训练,然后跨域适应102.7小时UAS语音语料库并产生发音特征。采用基于混合密度网络的神经元A2 A反演模型。跨域特征自适应网络也被用来减少TORGO和UASpeech数据之间的声学失配。在这两项任务中,结合A2 A生成的发音特征始终优于仅使用声学特征构建的基于基准混合DNN/TDNN、CTC和Conformer的端到端系统。最好的多模态系统,结合视频模态和跨域发音功能,以及数据增强和学习隐藏单元贡献(LHUC)扬声器自适应产生最低的发表词错误率(WER)的24.82%的16个构音障碍的扬声器的基准UASpeech任务。
2022-03-19 cs.AI eess.AS
InterAug: Augmenting Noisy Intermediate Predictions for CTC-based ASR
LINE Corporation(LINE公司)
本文提出了InterAug:一种新的训练方法,用于基于CTC的ASR,使用增强的中间表示条件反射。该方法利用自调节CTC的调节框架,通过调节“噪声”中间预测来训练鲁棒模型。在训练过程中,中间预测被改变为不正确的中间预测,并被馈送到下一层进行调节。随后的层被训练以用中间损失来校正不正确的中间预测。通过重复增强和校正,通常需要特殊解码器的迭代细化可以仅用音频编码器来实现。为了产生有噪声的中间预测,我们还引入了新的增强:中间特征空间增强和中间令牌空间增强,旨在模拟典型的错误。所提出的InterAug框架与新增强的组合允许对鲁棒音频编码器进行显式训练。在使用增强模拟删除,插入和替换错误的实验中,我们证实了训练的模型对每个错误都具有鲁棒性,提高了强自适应CTC基线的语音识别性能。
2022-04-01 cs.CL cs.SD eess.AS
Towards Better Meta-Initialization with Task Augmentation for Kindergarten-aged Speech Recognition
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
儿童的自动语音识别(ASR)一直是困难的,部分原因是数据稀缺的问题,特别是对于10岁的孩子。当数据稀缺时,模型可能会过拟合训练数据,因此良好的训练起点至关重要。最近,元学习被提出来学习不同语言的ASR任务的模型初始化(MI)。当模型适应于看不见的语言时,这种方法会带来良好的性能。然而,MI容易受到训练任务的过度拟合(学习者过度拟合)。也不知道MI是否推广到其他低资源任务。在本文中,我们验证了MI在儿童ASR中的有效性,并试图缓解学习者过度拟合的问题。为了实现模型不可知的元学习(MAML),我们把每个年龄段的儿童的语音作为一个不同的任务。在学习者过拟合方面,我们提出了一种任务级增强方法,通过使用频率弯曲技术模拟新的年龄。详细的实验表明,任务增强对每个年龄段的10岁以上的言语的影响。其结果是,我们的方法实现了相对字错误率(WER)的51%的改善基线系统没有增强或初始化。
2022-02-24 cs.CL cs.LG cs.SD
Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation
University of Maryland(马里兰大学);Microsoft(微软公司)
本文提出DARAG方法,通过合成数据扩充和检索增强来改进ASR的生成式纠错,在域内和域外场景下分别实现8%-30%和10%-33%的相对WER提升。
2024-10-17 cs.CL cs.SD eess.AS
TASU2: Controllable CTC Simulation for Alignment and Low-Resource Adaptation of Speech LLMs
X-LANCE Lab, Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系X-LANCE实验室);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);Jiangsu Key Lab of Language Computing(江苏省语言计算重点实验室);AISpeech Ltd(思必驰科技股份有限公司);Nanjing University(南京大学)
TASU2通过可控CTC模拟生成文本监督,提升语音大语言模型的对齐和低资源适应性能,优于TASU和文本细调等基线方法。
2026-04-09 cs.AI eess.AS