Experimental investigation on STFT phase representations for deep learning-based dysarthric speech detection
主流的基于深度学习的构音障碍语音检测方法通常依赖于处理输入信号的短时傅里叶变换的幅度谱,而忽略相位谱。虽然可以从幅度谱中获得关于信号结构的相当多的见解,但是相位谱也包含由于相位不连续而不能立即显现的固有结构。为了揭示有意义的相位结构,替代相位表示,如修改的群延迟(MGD)和瞬时频率(IF)谱已在几个应用中进行了研究。本文的目的是调查的适用性的未处理阶段,MGD,和IF频谱构音障碍的语音检测。实验结果表明,构音障碍的线索存在于所有考虑的相位表示。此外,还表明使用相位表示作为幅度谱的补充特征有利于基于深度学习的构音障碍语音检测,幅度谱和IF谱的组合可产生高性能。所提出的结果应提高认识,在研究界的相位谱构音障碍语音检测的潜力,并激励研究到新的架构,最佳利用幅度和相位信息。
2022-01-24 eess.AS
Augmenting Large Audio Language Models with Low-Level Acoustic Features for Dysarthric Speech Detection
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
提出微调大型音频语言模型(LALMs)结合低级声学特征与说话者人口统计信息进行构音障碍语音检测,优于深度学习基线,Qwen2-Audio-Instruct达最先进性能。
2026-10-05 eess.AS
Automatic dysarthric speech detection exploiting pairwise distance-based convolutional neural networks
构音障碍语音自动检测技术为构音障碍的临床诊断和治疗提供了可靠、经济的计算机辅助工具。在本文中,我们提出了一种新的自动构音障碍语音检测方法的基础上分析的成对距离矩阵,使用卷积神经网络(CNN)。我们通过发音后验子来表示话语,并考虑成对的语音平衡表示,其中一个表示来自健康说话者(即,参考表示)和来自测试说话者的另一个表示(即,测试表示)。给定这样的参考和测试表示对,首先使用特征提取前端提取特征,计算帧级距离矩阵,并且通过基于CNN的二元分类器将所获得的距离矩阵视为图像。特征提取、距离矩阵计算和基于CNN的分类器在端到端框架中联合优化。在两个不同语言和病理的健康和构音障碍说话者数据库上的实验结果表明,所提出的方法具有较高的构音障碍语音检测性能,优于其他基于CNN的基线方法。
2021-05-28 eess.AS
Fairness in Dysarthric Speech Synthesis: Understanding Intrinsic Bias in Dysarthric Speech Cloning using F5-TTS
Speech Processing Lab, LTRC(语音处理实验室,LTRC)
本研究使用F5-TTS和TORGO数据集评估构音障碍语音克隆效果,发现模型在合成时严重偏向语音可懂度而牺牲说话人相似度与韵律,为公平性感知的语音合成提供了见解。
2025-08-15 cs.AI eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology(代尔夫特理工大学);Erasmus Medical Centre (EMC)(埃因霍温医学院);Indian Inst. of Information Technology Allahabad(阿利哈巴德信息科技学院);Dept. of Plastic and Reconstructive Surgery(整形外科与重建外科系);Dept. of Electronics and Communication(电子与通信系)
针对构音障碍语音对ASR系统的挑战,本研究探索扩散模型在构音障碍语音增强中的应用,通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响,验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield(谢菲尔德大学)
针对构音障碍语音数据稀缺问题,本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音,并微调Whisper等ASR基础模型,显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
The Effectiveness of Time Stretching for Enhancing Dysarthric Speech for Improved Dysarthric Speech Recognition
Delft University of Technology(代尔夫特理工大学);Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学)
在本文中,我们研究了几种现有的和一种新的最先进的基于生成对抗网络(GAN)的语音转换方法,用于增强构音障碍语音,以改进构音障碍语音识别。我们比较现有方法的关键组成部分,作为严格的消融研究的一部分,以找到最有效的解决方案,以改善构音障碍的语音识别。我们发现,简单的信号处理方法,如静态噪声去除和基于声码器的时间拉伸,导致构音障碍的语音识别结果与使用最先进的基于GAN的语音转换方法时获得的结果相当,如使用音素识别任务测量的。此外,与我们的时间拉伸基线相比,我们提出的MaskCycleGAN-VC和时间拉伸增强相结合的解决方案能够改善某些构音障碍说话者的音素识别结果。
2022-01-13 cs.AI cs.SD eess.AS
Augmenting Dysarthric Speech Severity Assessment with MOS Supervision
Tsinghua University(清华大学);Beijing University of Posts(北京邮电大学)
提出利用语音合成评估数据(QualiSpeech语料库的MOS标签)增强构音障碍语音评估,微调提升可懂度和自然度预测,联合训练主要提升自然度,减少对临床标注的依赖。
2026-06-18 cs.AI eess.AS
Synthesizing Dysarthric Speech Using Multi-talker TTS for Dysarthric Speech Recognition
University of Kentucky(肯塔基大学);University of Connecticut(康涅狄格大学);Marquette University(马凯特大学)
构音障碍是一种运动性言语障碍,其特征通常是通过缓慢、不协调的言语产生肌肉控制降低言语清晰度。自动语音识别(ASR)系统可以帮助构音障碍的说话者更有效地沟通。为了具有稳健的构音障碍特异性ASR,需要足够的训练语音,这是不容易获得的。文语转换(TTS)合成多说话人端到端TTS系统的最新进展表明,使用合成数据增强的可能性。在本文中,我们的目标是改善多扬声器端到端TTS系统合成构音障碍的语音,以改善构音障碍特异性DNN-HMM ASR的训练。在合成的语音,我们添加构音障碍的严重程度和暂停插入机制,以其他控制参数,如音高,能量和持续时间。结果表明,与基线相比,在额外的合成构音障碍语音上训练的DNN-HMM模型实现了12.2%的WER改善,添加严重程度和暂停插入控制使WER降低了6.5%,显示了添加这些参数的有效性。音频样本可在
2022-01-27 cs.CL cs.SD eess.AS
Accurate synthesis of Dysarthric Speech for ASR data augmentation
University of Kentucky(肯塔基大学);University of Connecticut(康涅狄格大学);Marquette University(马凯特大学)
本文提出带严重程度系数和停顿插入模型的改进神经多说话人TTS,用于合成构音障碍语音以增强ASR训练数据,并在TORGO上显著降低WER。
2023-08-16 cs.LG cs.SD eess.AS
Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG(拜耳公司);Idiap Research Institute(伊迪亚普研究所)
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响,发现该模型会丢失病理声学线索,但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
Enhancing Pathological Speech through Articulatory Bottlenecks
本文提出一种通过残差映射器干预发音对齐潜在空间的方法,在保留说话人和韵律信息的同时增强构音障碍语音,并验证了显式发音监督优于无监督表征。
2026-10-06 eess.AS
Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training
Seoul National University(首尔国立大学)
构音障碍是一种影响数百万人的运动性语言障碍。构音障碍者的言语比非构音障碍者的言语更难理解,从而导致显著的沟通困难。我们工作的目标是开发一个模型,构音障碍,以健康的语音转换使用周期一致的GAN。使用18,700个构音障碍和8,610个健康对照韩语话语,这些话语是为了在先前的研究中自动识别语音键盘而记录的,该生成器被训练成在谱域中将构音障碍转换为健康语音,然后将其转换回语音。客观评价使用自动语音识别的生成的话语上举行了测试集显示,识别性能得到改善,与原来的dysarthic语音进行对抗训练后,作为绝对WER已降低了33.4%。实验结果表明,所提出的基于GAN的转换方法对于改善构音障碍语音的可懂度是有用的。
2020-01-10 cs.CL cs.SD eess.AS
Differentiable and Severity-invariant Discrete Tokens for Dysarthric Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);National Research Council Canada(加拿大国家研究委员会)
本文提出可微且严重度不变的离散令牌方法,与构障碍语音识别任务紧密集成,在UASpeech和TORGO上显著降低词错误率,并通过正则化减少严重度组间差异。
2026-09-16 eess.AS
Temporal envelope and fine structure cues for dysarthric speech detection using CNNs
Idiap Research Institute(Idiap研究所)
基于深度学习的自动构音障碍语音检测技术最近引起了研究界的兴趣。现有技术通常通过处理时间-频率输入表示(诸如短时傅里叶变换(STFT)的幅度谱)来学习神经典型和构音障碍的辨别表示。虽然这些技术预计将利用感知构音障碍线索,表示,如幅度谱的STFT不一定传达感知方面的复杂的声音。受人类听觉系统的时间处理机制的启发,在本文中,我们将信号分解为缓慢变化的包络和快速变化的精细结构的产物。分别利用存在于包络中的不同感知线索(即,语音信息、重音和发音)和精细结构(即,音调、元音质量和呼吸),通过卷积神经网络学习两种区别性表示,并将其用于自动构音障碍语音检测。实验结果表明,处理的包络和精细结构表示产生一个相当好的构音障碍的语音检测性能比只处理的包络,精细结构,或幅度谱的STFT表示。
2021-08-25 cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna(科雷大学恩纳分校);Politecnico di Torino(托里诺理工学院);Università di Palermo(巴勒莫大学)
针对构音障碍语音识别难题,提出结合先进ASR模型与LLM生成式纠错的两阶段框架,并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
Personalized Fine-Tuning with Controllable Synthetic Speech from LLM-Generated Transcripts for Dysarthric Speech Recognition
Technische Hochschule Nürnberg(纽伦堡技术大学);Korea Advanced Institute of Science & Technology(韩国科学技术院);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔兰根-纽伦堡 Friedrich-Alexander 大学)
本研究针对构音障碍语音识别任务,结合参数高效微调、潜在音频表示与合成构音障碍语音数据实现个性化微调,有效降低词错误率,为语音无障碍识别提供优化方案。
2025-05-19 cs.SD eess.AS
Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出结合基于信号的语速节奏调整与PWG对抗增强的多阶段方法,并通过Conformer微调和文本纠正,显著提升阿拉伯语构音障碍语音识别性能。
2023-06-07 cs.CL cs.SD eess.AS
A Self-Training Approach for Whisper to Enhance Long Dysarthric Speech Recognition
College of Computer Science(计算机科学学院)
针对长构音障碍语音识别数据受限问题,提出一种新颖的 Whisper 模型自训练方法,通过增加训练数据并适应不完整语音片段,在 SAP Challenge 中取得第二名。
2025-06-28 cs.SD eess.AS
Speech Recognition-based Feature Extraction for Enhanced Automatic Severity Classification in Dysarthric Speech
Sogang University(西江大学)
针对构音障碍严重程度评估中ML特征覆盖不足的问题,提出利用微调ASR转写提取词段边界及发音、韵律特征,将平衡准确率提升至83.72%。
2024-12-05 cs.AI cs.SD eess.AS
DiffDSR: Dysarthric Speech Reconstruction Using Latent Diffusion Model
The Chinese University of Hong Kong Shenzhen International Graduate School(香港中文大学(深圳)国际研究生院);Tsinghua University(清华大学);Vocal Engineering Technologies Limited(语音工程科技有限公司)
本研究提出DiffDSR系统,利用潜在扩散模型结合SSL语音内容编码器、上下文学习说话人身份编码器和扩散语音生成器,显著提升了构音障碍语音的可懂度与说话人相似度。
2025-05-31 cs.SD eess.AS
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University(卡内基梅隆大学);FAU Erlangen-Nürnberg(弗赖堡大学埃尔兰根-纽伦堡分校);Universidad de Antioquia(安东尼奥基亚大学);TU Delft(代尔夫特理工大学);Fortemedia(福特媒体)
针对低资源语言构音障碍语音识别数据稀缺问题,本文微调语音转换模型生成构音障碍样语音,增强多语言ASR,在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Probing Whisper for Dysarthric Speech in Detection and Assessment
TU Delft, the Netherlands(代尔夫特理工大学);King's College London, UK(伦敦国王学院)
本研究针对构音障碍语音的检测与评估任务,对Whisper-Medium编码器进行逐层探测分析,发现中间13-15层信息量最高,微调仅带来小幅变化,提升了模型可解释性并为病理语音应用提供指导。
2025-10-05 cs.SD eess.AS
Autoencoder based optimized SSL representations: Complexity Minimization and improved Dysarthric ASR
National Institute of Technology Sikkim(锡金国家技术学院);Aalto University(阿尔托大学);University of Southern California(南加州大学)
提出自编码器瓶颈方法压缩自监督学习特征维度,在降低计算复杂度的同时保持构音障碍语音识别性能,训练时间减少8倍且词错误率下降。
2026-06-24 eess.AS
Variational Auto-Encoder Based Variability Encoding for Dysarthric Speech Recognition
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Chinese University of Hong Kong(香港中文大学)
针对构音障碍语音声学变异难建模的问题,提出VAEVE编码器,利用音素信息与潜变量重建声学特征以提取音素无关变异编码,并在UASpeech上验证其与LHUC自适应互补且可降低WER。
2024-06-14 cs.SD eess.AS
Bridging ASR and LLMs for Dysarthric Speech Recognition: Benchmarking Self-Supervised and Generative Approaches
NLP Department(自然语言处理部门)
本研究系统基准测试了Wav2Vec等自监督模型及CTC、seq2seq和LLM增强解码策略在构音障碍语音识别中的表现,发现LLM增强解码能利用语言约束恢复音素和纠正语法,有效提升识别可懂度。
2025-08-11 cs.AI cs.SD eess.AS
Enhancing Pre-trained ASR System Fine-tuning for Dysarthric Speech Recognition using Adversarial Data Augmentation
The Chinese University of Hong Kong(香港中文大学)
本文针对构音障碍语音识别数据少、微调泛化差的问题,比较了多种数据增强方法,提出基于GAN的对抗数据增强,在UASpeech上显著降低WER并取得已发表最低错误率16.53%。
2024-01-01 cs.SD eess.AS
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University(卡内基梅隆大学);Arizona State University(亚利桑那州立大学)
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架,以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Vocal Engineering Technologies Limited(声动科技有限公司)
针对构音障碍语音重构中说话人相似度低、韵律自然度差的问题,提出基于神经编解码语言建模的多模态CoLM-DSR模型,经UASpeech语料库验证,在相关指标上取得显著提升。
2024-06-24 cs.CV cs.SD eess.AS
Interpretable Deep Learning Model for the Detection and Reconstruction of Dysarthric Speech
Amazon TTS-Research(亚马逊文本转语音研究部);Gdansk University of Technology(格但斯克工业大学)
提出了一种构音障碍语音的检测与重建方法。编码器-解码器模型将语音分解为低维潜在空间并对输入文本进行编码。我们发现,潜在的空间传达了构音障碍的可解释的特征,如语音的可懂度和流畅性。MUSHRA感知测试表明,潜在空间的自适应使模型生成的语音的流畅性得到改善。用于预测构音障碍语音的概率和梅尔频谱图的多任务监督方法有助于以更高的准确性改善构音障碍的检测。这是由于自动编码器的低维潜在空间,而不是直接从高维梅尔频谱图预测构音障碍。
2019-07-10 cs.CL cs.SD eess.AS
Exploiting Audio-Visual Features with Pretrained AV-HuBERT for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Vocal Engineering Technologies Limited
针对重度构音障碍语音在复杂噪声环境下重建难度大的问题,提出融合唇部视觉信息、基于AV-HuBERT的多模态DSR框架,经UASpeech语料库验证,可显著提升语音可懂度与自然度,重度患者词错率绝对下降42.1%。
2024-01-31 cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute(Idiap研究机构)
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法,扩展RnV框架,在Torgo语料库上显著降低LF-MMI模型的词错误率,尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization
The Chinese University of Hong Kong(香港中文大学);Vocal Engineering Technologies Limited(声学工程技术有限公司)
针对现有构音障碍语音重建系统训练效率低的问题,提出基于HuBERT和离散语音单元的Unit-DSR系统,简化结构的同时提升了内容恢复效果与鲁棒性。
2024-01-26 cs.CL cs.SD eess.AS
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong(香港中文大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
尽管自动语音识别(ASR)技术在过去的几十年中取得了快速的进步,但迄今为止,对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络(DNN)的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作,在香港中文大学(CUHK),以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术,包括神经架构搜索,数据增强使用频谱时间扰动,基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别(AVSR)系统框架内,以解决上述挑战。这些技术的结合在UASpeech测试集(16名构音障碍说话者)上产生了最低的已发布单词错误率(WER),为25.21%,并且与中大2018年构音障碍语音识别系统相比,总体WER绝对降低了5.4%(相对降低了17.6%),该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
Enhancing Speaker-Independent Dysarthric Speech Severity Classification with DSSCNet and Cross-Corpus Adaptation
Sikkim Manipal Institute of Technology (SMIT)(西克姆曼普尔理工学院(SMIT));National Institute of Technology Sikkim(西克姆国家理工学院)
本研究提出 DSSCNet 深度架构与跨语料库微调框架,通过结合卷积、SE 和残差网络提取构音障碍语音特征,在 TORGO 和 UA-Speech 基准上显著提升了说话人无关场景下的严重程度分类准确率。
2025-09-16 cs.SD eess.AS
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited(塔塔咨询服务公司);TCS Research and Innovation(TCS研究与创新部门)
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响,还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单(a)患者接受和(b)临床医生解释,则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展,该系统要求患者说出大量的话语。在本文中,我们提出了(a)一个成本最小化的程序,以选择一个最佳的(小)数量的话语,需要由构音障碍患者,(b)四个不同的扬声器独立的可理解性评估系统,需要患者说少量的话,和(c)的评估分数是接近的感知分数,语音语言病理学家(SLP)可以涉及。从可用性的角度来看,患者需要说出少量的话语,并且评分与SLP相关,这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test
Institute of Information & communications Technology Planning & Evaluation (IITP)(信息与通信技术规划与评估机构)
本文提出Re-SAT方法,通过评估样本的去偏有效性来减轻语音识别系统在口吃语音上的偏差,提升系统对口吃语音的鲁棒性。
2023-06-27 cs.CL cs.LG cs.SD
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA(安蒂奥基亚大学)
最先进的自动语音识别(ASR)系统在健康语音上表现良好。然而,对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难,因为语音的几个方面,如发音、韵律和发声可能受损。具体来说,我们训练一个声学模型,从Wav 2 Vec,Hubert和跨语言XLSR模型中提取的特征。结果表明,在大的未标记的数据上预训练的语音表示可以提高字出错率(WER)的性能。特别是,多语言模型的功能导致WER低于过滤器组(Fbank)或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者(UASpeech语料库)、患有帕金森氏症构音障碍的西班牙语使用者(PC-GITA语料库)和患有基于麻痹的构音障碍的意大利语使用者(EasyCall语料库)中观察到改善。与使用Fbank特征相比,基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
A Preliminary Study of a Two-Stage Paradigm for Preserving Speaker Identity in Dysarthric Voice Conversion
Nagoya University(名古屋大学);Academia Sinica(中央研究院);Chi Mei Hospital(奇美医院)
我们提出了一个新的范式,以保持说话人身份在构音障碍的声音转换(DVC)。通过统计VC可以大大改善构音障碍语音的质量,但由于构音障碍患者的正常语音几乎不可能收集,以前的工作未能恢复患者的个性。鉴于此,我们提出了一种新的,两阶段的方法DVC,这是非常灵活的,因为没有正常的语音的病人是必需的。首先,一个强大的并行序列到序列模型将输入构音障碍的语音转换为正常语音的参考扬声器作为一个中间产品,和一个非并行的,逐帧VC模型实现了一个变分自编码器,然后将扬声器身份的参考语音转换回患者,同时假设能够保持增强的质量。我们研究了几种设计方案。实验结果表明,我们的方法,以提高构音障碍的语音质量,同时保持说话人的身份的潜力。
2021-06-02 cs.CL cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出结合不确定性量化的改进GoP方法,通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能,在英语、韩语和泰米尔语上均优于基线,并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering(Spring实验室,电气工程系)
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法,利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音,以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation
The Chinese University of Hong Kong(香港中文大学);SpeechX Limited(深圳声希科技有限公司);Centre for Perceptual and Interactive Intelligence(感知与交互智能中心)
构音障碍语音重建(DSR),旨在改善构音障碍语音的质量,仍然是一个挑战,不仅因为我们需要恢复语音是正常的,而且还必须保持说话人的身份。为了控制说话人的身份,本文研究了由说话人识别优化的说话人编码器(SE)提取的说话人表示。然而,SE可能无法完全捕获以前看不见的构音障碍扬声器的特征。为了解决这个研究问题,我们提出了一种新的多任务学习策略,即,对抗性说话人自适应(ASA)。ASA的主要任务微调SE与目标构音障碍说话者的语音,以有效地捕获身份相关的信息,和次要任务应用对抗训练,以避免异常说话模式的重建语音的合并,通过正则化重建语音的分布接近的参考语音的高质量。实验表明,该方法可以实现增强的说话人相似度和可比的语音自然度与强大的基线方法。与构音障碍语音相比,对于中度构音障碍和中重度构音障碍的说话人,重建语音的绝对错误率分别降低了22.3%和31.5%。我们的演示页面在这里发布:https://wendison.github.io/ASA-DSR-demo/
2022-02-18 cs.CL cs.MM cs.SD
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore(新加坡国立大学);Radboud University(拉德堡德大学);University of Maryland, College Park(马里兰大学帕克分校);Pindrop;SRI International(SRI国际)
人口快速老龄化刺激了辅助设备的发展,为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统,其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别(ASR)技术以能够提供准确的发音反馈。与长期的目标,开发现成的ASR系统,可以纳入临床背景下,没有事先的扬声器信息,我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型,已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能,这些系统上的两个构音障碍的语音数据集的不同特征,以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距,显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University(西江大学);Seoul Hospital(首尔医院);Ewha Womans University College of Medicine(梨花女子大学医学院)
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测,并设计标注方案与独立评估指标,实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Towards Robust Dysarthric Speech Recognition: LLM-Agent Post-ASR Correction Beyond WER
本文提出基于LLM的代理用于ASR后修正,通过语义校正提升口吃语音识别的鲁棒性,实现WER降低和语义性能提升。
2026-01-29 cs.SD eess.AS
Towards Temporally Explainable Dysarthric Speech Clarity Assessment
National University of Singapore(新加坡国立大学);Korea University(韩国大学);Alexandra Hospital(亚历山大医院)
本研究针对构音障碍语音,提出一种包含清晰度打分、错误定位与类型分类的三阶段可解释评估框架,利用预训练ASR模型分析自动发音错误反馈,为临床干预与患者独立练习提供见解。
2025-05-31 cs.HC cs.SD eess.AS
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London(帝国理工学院);University of Southampton(南安普顿大学)
语音识别系统在过去的几年中已经有了显著的改进,然而,对于口音或受损语音的情况,它们的性能显著下降。这项工作探讨域对抗神经网络(DANN)的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应(SA)模型以及说话者相关(SD)和多任务学习模型(MTL)进行比较。实验结果表明,DANN的绝对识别率为74.91%,比基线识别率提高了12.18%。此外,DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到,当标记的构音障碍的语音数据是可用的DANN和MTL执行类似,但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
Idiosyncratic Versus Normative Modeling of Atypical Speech Recognition: Dysarthric Case Studies
Stony Brook University(史蒂文尼森布鲁克大学);Vanderbilt University(范德比大学)
本文比较四种 ASR 建模策略,发现结合规范化与特异化的构音障碍特异化模型仅需不到一半个性化数据即可优于纯特异化模型,且仅微调语音编码器可将平均词错误率从 71% 降至 32%。
2025-09-20 cs.CL cs.SD eess.AS
Regularized Federated Learning for Privacy-Preserving Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong(香港中文大学)
针对构音障碍与老年人语音识别中联邦学习面临的数据稀缺等问题,提出三类正则化技术,在基准数据集上实现显著词错误率降低,高通信频率下性能接近集中式训练。
2025-06-02 cs.AI cs.CL cs.SD
Unsupervised Rhythm and Voice Conversion of Dysarthric to Healthy Speech for ASR
Idiap Research Institute(伊迪亚普研究所);EPFL, École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
针对ASR系统处理构音障碍语音效果差且现有语速调整方法依赖转录数据的问题,提出结合自监督表示的无监督节奏与音色转换方法,可显著提升重度构音障碍说话者的ASR性能。
2025-01-17 cs.AI cs.LG cs.SD
Voice Biomarker Analysis and Automated Severity Classification of Dysarthric Speech in a Multilingual Context
Seoul National University(首尔国立大学);Graduate School of Linguistics(语言学研究生院)
针对构音障碍评估的单语言局限,提出一种分析英语、韩语和泰米尔语的多语言严重程度分类方法,以支持临床决策。
2024-12-01 cs.CL cs.SD eess.AS
Optimal Transport-based Adaptation in Dysarthric Speech Tasks
Italian Institute of Technology(意大利理工学院);University of Ferrara(费拉拉大学);University of Genoa(热那亚大学);PerVoice(PerVoice公司)
在许多实际应用中,训练数据(源)和测试数据(目标)分布之间的不匹配会显著降低机器学习算法的性能。在语音数据中,这种失配的原因包括不同的声学环境或扬声器特性。在本文中,我们解决这个问题的构音障碍的语音,多源域/说话人自适应(MSDA/MSSA)的挑战性的背景下。具体来说,我们建议使用基于最优传输的方法,称为MSDA通过加权联合最优传输(MSDA-WDJOT)。我们面临的构音障碍检测中的失配问题,所提出的方法优于基线和最先进的MSDA模型,提高了0.9%的检测精度比最好的竞争对手的方法。然后,我们采用MSDA-WJDOT构音障碍的扬声器适应命令语音识别。这提供了一个命令出错率相对减少16%和7%的基线和最好的竞争对手的模型,分别。有趣的是,MSDA-WJDOT提供了源和目标之间的相似性得分,即在这种情况下,扬声器之间的相似性得分。我们利用这种相似性度量来定义目标说话者的构音障碍和健康评分,并以95%的准确率诊断构音障碍。
2022-03-14 cs.CL cs.SD eess.AS
DyPCL: Dynamic Phoneme-level Contrastive Learning for Dysarthric Speech Recognition
POSTECH(浦项科技大学);aiXplain Inc.(aiXplain公司)
本文提出动态音素级对比学习方法DyPCL,通过音素片段对比学习和基于语音相似性的动态课程学习缓解构音障碍说话人变异性,在UASpeech上实现平均22.10%的WER相对降低。
2025-02-03 cs.CL cs.SD eess.AS
Parameter-efficient Dysarthric Speech Recognition Using Adapter Fusion and Householder Transformation
KULeuven(鲁汶大学)
针对构音障碍语音识别的数据稀缺与说话者差异问题,提出结合Adapter Fusion与Householder变换重参数化的参数高效方法,以远少于经典微调的参数量取得相当识别效果。
2023-06-12 cs.SD eess.AS q-bio.QM