Towards Temporally Explainable Dysarthric Speech Clarity Assessment
National University of Singapore（新加坡国立大学）；Korea University（韩国大学）；Alexandra Hospital（亚历山大医院）
本研究针对构音障碍语音，提出一种包含清晰度打分、错误定位与类型分类的三阶段可解释评估框架，利用预训练ASR模型分析自动发音错误反馈，为临床干预与患者独立练习提供见解。
2025-05-31 cs.HC cs.SD eess.AS
Enhancing Pre-trained ASR System Fine-tuning for Dysarthric Speech Recognition using Adversarial Data Augmentation
The Chinese University of Hong Kong（香港中文大学）
本文针对构音障碍语音识别数据少、微调泛化差的问题，比较了多种数据增强方法，提出基于GAN的对抗数据增强，在UASpeech上显著降低WER并取得已发表最低错误率16.53%。
2024-01-01 cs.SD eess.AS
Accurate synthesis of Dysarthric Speech for ASR data augmentation
University of Kentucky（肯塔基大学）；University of Connecticut（康涅狄格大学）；Marquette University（马凯特大学）
本文提出带严重程度系数和停顿插入模型的改进神经多说话人TTS，用于合成构音障碍语音以增强ASR训练数据，并在TORGO上显著降低WER。
2023-08-16 cs.LG cs.SD eess.AS
Towards Robust Dysarthric Speech Recognition: LLM-Agent Post-ASR Correction Beyond WER
本文提出基于LLM的代理用于ASR后修正，通过语义校正提升口吃语音识别的鲁棒性，实现WER降低和语义性能提升。
2026-01-29 cs.SD eess.AS
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University（卡内基梅隆大学）；FAU Erlangen-Nürnberg（弗赖堡大学埃尔兰根-纽伦堡分校）；Universidad de Antioquia（安东尼奥基亚大学）；TU Delft（代尔夫特理工大学）；Fortemedia（福特媒体）
针对低资源语言构音障碍语音识别数据稀缺问题，本文微调语音转换模型生成构音障碍样语音，增强多语言ASR，在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion to Improve ASR on Dysarthric Speech
Idiap Research Institute（Idiap研究机构）
本文提出一种基于音节节奏建模的无监督构音障碍到健康语音转换方法，扩展RnV框架，在Torgo语料库上显著降低LF-MMI模型的词错误率，尤其对严重构音障碍病例效果更佳。
2025-06-02 cs.AI cs.LG cs.SD
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）；University of Maryland, College Park（马里兰大学帕克分校）；Pindrop；SRI International（SRI国际）
人口快速老龄化刺激了辅助设备的发展，为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统，其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别（ASR）技术以能够提供准确的发音反馈。与长期的目标，开发现成的ASR系统，可以纳入临床背景下，没有事先的扬声器信息，我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型，已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能，这些系统上的两个构音障碍的语音数据集的不同特征，以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距，显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization
The Chinese University of Hong Kong（香港中文大学）；Vocal Engineering Technologies Limited（声学工程技术有限公司）
针对现有构音障碍语音重建系统训练效率低的问题，提出基于HuBERT和离散语音单元的Unit-DSR系统，简化结构的同时提升了内容恢复效果与鲁棒性。
2024-01-26 cs.CL cs.SD eess.AS
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA（安蒂奥基亚大学）
最先进的自动语音识别（ASR）系统在健康语音上表现良好。然而，对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难，因为语音的几个方面，如发音、韵律和发声可能受损。具体来说，我们训练一个声学模型，从Wav 2 Vec，Hubert和跨语言XLSR模型中提取的特征。结果表明，在大的未标记的数据上预训练的语音表示可以提高字出错率（WER）的性能。特别是，多语言模型的功能导致WER低于过滤器组（Fbank）或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者（UASpeech语料库）、患有帕金森氏症构音障碍的西班牙语使用者（PC-GITA语料库）和患有基于麻痹的构音障碍的意大利语使用者（EasyCall语料库）中观察到改善。与使用Fbank特征相比，基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
尽管自动语音识别（ASR）技术在过去的几十年中取得了快速的进步，但迄今为止，对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络（DNN）的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作，在香港中文大学（CUHK），以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术，包括神经架构搜索，数据增强使用频谱时间扰动，基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别（AVSR）系统框架内，以解决上述挑战。这些技术的结合在UASpeech测试集（16名构音障碍说话者）上产生了最低的已发布单词错误率（WER），为25.21%，并且与中大2018年构音障碍语音识别系统相比，总体WER绝对降低了5.4%（相对降低了17.6%），该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
Idiosyncratic Versus Normative Modeling of Atypical Speech Recognition: Dysarthric Case Studies
Stony Brook University（史蒂文尼森布鲁克大学）；Vanderbilt University（范德比大学）
本文比较四种 ASR 建模策略，发现结合规范化与特异化的构音障碍特异化模型仅需不到一半个性化数据即可优于纯特异化模型，且仅微调语音编码器可将平均词错误率从 71% 降至 32%。
2025-09-20 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University（西江大学）；Seoul Hospital（首尔医院）；Ewha Womans University College of Medicine（梨花女子大学医学院）
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测，并设计标注方案与独立评估指标，实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种多语言口吃语音评估框架，结合通用音素识别与语言特定音素对比建模，提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
Zero- and One-Shot Data Augmentation for Sentence-Level Dysarthric Speech Recognition in Constrained Scenarios
Nankai University, China（南开大学）
针对句子级构音障碍语音识别数据稀缺及零/单样本设置下合成数据难以表征目标域的问题，提出面向文本匹配数据合成的文本覆盖策略，显著提升对未见说话人的识别性能。
2025-10-19 cs.SD
CDSD: Chinese Dysarthria Speech Database
Institute of Psychology（心理研究所）；University of the Chinese Academy of Sciences（中国科学院大学）；Beijing Union University（北京联合大学）；Jiangsu University of Science and Technology（江苏科技大学）；University of Science and Technology of China（中国科学技术大学）
针对构音障碍语音识别因数据有限而面临的挑战，本文开发了目前最庞大的中文构音障碍语音数据库CDSD（含133小时44人录音），基准测试最佳CER达16.4%，优于人类实验的20.45%，为相关研究提供数据支持。
2025-02-13 cs.SD eess.AS
Exploring Self-supervised Pre-trained ASR Models For Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文探索将领域自适应wav2vec2.0模型集成到TDNN/Conformer ASR系统，通过特征融合、联合解码和多遍重评分，在构音障碍和老年语音识别上取得显著WER降低，达到最低已发表结果。
2023-06-22 cs.AI cs.SD eess.AS
Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（电子与通信工程系，印度尼特拉特技术学院Sikkim分校）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA（信号分析与解释实验室（SAIL），美国南加州大学洛杉矶分校）
针对构音障碍语音识别中数据稀缺和严重程度差异的问题，本文探索了四种数据增强方法（SRM、PM、FM、VTLP）对预训练Wav2Vec2模型进行微调，在不同严重程度上实现了显著的字错误率降低。
2026-06-19 cs.AI cs.SD eess.AS
Personalizing ASR for Dysarthric and Accented Speech with Limited Data
Google（谷歌）；ALS Therapy Development Institute（肌萎缩侧索硬化症治疗发展研究所）
自动语音识别（ASR）系统在过去几年中有了显著的改进。ASR系统通常是从“典型”语音中训练出来的，这意味着代表性不足的群体不会经历同样程度的改善。在本文中，我们提出并评估微调技术，以提高非标准语音用户的ASR。我们专注于两种类型的非标准语音：从肌萎缩侧索硬化症（ALS）和口音语音的人讲话。我们训练个性化模型，在这两组中实现62%和35%的相对WER改善，在消息库短语测试集上，ALS说话者的绝对WER对于轻度构音障碍下降到10%，对于更严重的构音障碍下降到20%。我们表明，71%的改善来自于只有5分钟的训练数据。微调一个特定的层子集（使用更少的参数）通常比微调整个模型提供更好的结果。这是建立构音障碍语音的最新ASR模型的第一步。
2019-07-31 cs.CL cs.LG cs.SD
Benchmarking Commercial Speech Recognition and Multimodal Large Language Models on Dysarthric Speech: Severity-Stratified Baselines and Architecture-Specific Prompting Effects
University of Strathclyde（思克莱德大学）
本研究评估了商业ASR和MLLM在口吃语音识别中的性能，发现GPT-4o在重度口吃情况下显著降低WER，而Gemini变体表现下降，为辅助语音接口技术选择提供实证依据。
2026-08-24 cs.SD eess.AS
Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations
针对一位捷克语气管造口及严重构音障碍说话人，本文提出基于Whisper Base的多阶段微调ASR系统，利用人工对话协议收集的33小时数据，实现字符错误率相对降低50%，证明严重受损语音也可获得有效识别。
2026-10-05 cs.AI cs.CL cs.HC
Improved Dysarthric Speech to Text Conversion via TTS Personalization
Department of Telecommunications and Artificial Intelligence, Budapest University of Technology, Hungary（电信与人工智能系，布达佩斯技术大学）；Division of Speech, Music and Hearing, KTH Royal Institute of Technology, Sweden（语音、音乐与听觉 division，皇家理工学院）；Hungarian Research Centre for Linguistics, HUN-REN, Hungary（匈牙利语言研究与应用中心）；SpeechTex Ltd., Hungary（SpeechTex有限公司）；Institute of Informatics, University of Szeged, Hungary（信息学院，塞格德大学）
本研究为严重构音障碍的匈牙利语使用者开发定制语音转文本系统，通过个性化TTS生成可控严重程度的合成语音来微调ASR模型，将字符错误率从36-51%降至7.3%，显著优于Whisper-turbo。
2025-08-08 cs.HC cs.SD
Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
尽管近几十年来针对正常语音的自动语音识别（ASR）技术取得了快速进展，但迄今为止，构音障碍和老年语音的准确识别仍然是极具挑战性的任务。在正常言语中常见的异质性来源，包括口音或性别，当进一步与年龄和言语病理严重程度的变异性复合时，在说话者中产生了很大的多样性。为此，说话人自适应技术在为这些用户个性化ASR系统中起着关键作用。受构音障碍、老年人和正常言语之间的频谱-时间水平差异的启发，这些差异系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流利增加，本文提出了一种新的基于SVD语音谱分解的谱时间子空间基深度嵌入特征，以促进最先进的混合DNN/TDNN和端到端的基于辅助特征的说话人自适应。end Conformer语音识别系统。实验在四个任务上进行：英语UASpeech和TORGO构音障碍语音语料库;英语DementiaBank Pitt和粤语JCCOCC MoCA老年人语音数据集。所提出的频谱-时间深度特征自适应系统在字错误率（WER）方面的绝对（8.63%相对）降低率超过基线i-Vector和xVector自适应。一致的性能改善后，保留基于模型的说话人自适应学习隐藏单元贡献（LHUC）进一步应用。最好的扬声器适应系统使用建议的频谱基础嵌入功能产生了最低的公布WER的25.05%的UASpeech测试集的16个构音障碍的扬声器。
2022-03-17 cs.AI cs.LG cs.SD
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
End-to-End Simultaneous Dysarthric Speech Reconstruction with Frame-Level Adaptor and Multiple Wait-k Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；iFlytek Co., Ltd.（科大讯飞股份有限公司）
本文提出端到端的同时口吃语音重建系统，通过帧级适配模块和多视图知识蒸馏模块，提升重建语音的鲁棒性和可懂度。
2026-03-02 cs.CL cs.SD
DARS: Dysarthria-Aware Rhythm-Style Synthesis for ASR Enhancement
University of Science and Technology of China（中国科学技术大学）；iFlytek Co., Ltd.（iFlytek公司）；Huawei Technology（华为技术）
DARS通过多阶段节奏预测和条件流匹配机制，提升ASR在肌张力障碍语音识别中的性能。
2026-03-02 cs.CL cs.SD
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield（谢菲尔德大学）
针对构音障碍语音数据稀缺问题，本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音，并微调Whisper等ASR基础模型，显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
Enhancing AAC Software for Dysarthric Speakers in e-Health Settings: An Evaluation Using TORGO
Northeastern University（东北大学）；University of Victoria（维多利亚大学）
本研究针对构音障碍者在医疗场景中ASR识别率低的问题，提出打破TORGO数据集提示重叠的算法，并评估n-gram和LLM错误纠正方法，以提升非典型语音识别，促进公平医疗访问。
2024-11-08 cs.CL cs.HC cs.SD
Adversarial Data Augmentation Using VAE-GAN for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。本文提出了一种新的变分自动编码器生成对抗网络（VAE-GAN）的个性化的无序语音增强方法，同时学习编码，生成和歧视合成受损语音。单独的潜在功能，推导出学习构音障碍的语音特征和音素上下文表示。还包含了自我监督的预训练Wav 2 vec 2.0嵌入功能。在UASpeech语料库上进行的实验表明，所提出的对抗性数据增强方法始终优于基线速度扰动和非VAE GAN增强方法，具有训练的混合TDNN和端到端Conformer系统。在LHUC扬声器自适应之后，使用基于VAE-GAN的增强的最佳系统在16个构音障碍扬声器的UASpeech测试集上产生了27.78%的总体WER，并且在具有“非常低”可懂度的扬声器子集上产生了57.31%的最低公布WER。
2023-03-19 cs.SD eess.AS
Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对构音障碍及老年语音识别的适配难题，提出VR-SBE特征与f-LHUC变换两种方法，实现ASR模型的即时自适应，在多语种多数据集上取得显著性能提升并达到当前最优水平。
2024-07-08 cs.AI cs.HC cs.LG
Robust fine-tuning of speech recognition models via model merging: application to disordered speech
CallyopeFrance（卡利奥佩法国）
本研究通过模型合并方法改进构音障碍语音的ASR，以Whisper为基础，多运行合并相比经典微调降低12%的WER，在长音频上降低16.2%，且无需额外推理成本或调参。
2025-05-26 cs.SD eess.AS
Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich（苏黎世大学）；University of Tehran（德黑兰大学）
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合，用于构音障碍语音的识别、说话人识别和可懂度评估，并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University（名古屋大学）
我们研究了用于自动语音识别（ASR）的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练，但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练，然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习（SSL），它只使用语音数据训练网络，在训练数据要求方面提供了更大的灵活性，并允许在预训练中使用更多的语音数据。我们研究SSL框架，如wav2vec 2.0和WavLM模型使用不同的设置，并比较它们的性能与不同的监督预训练设置，使用两种类型的病理语音，即日语electrolaryngeal和英语dysarthric。我们的研究结果表明，虽然SSL已显示出成功的最低限度的资源健康的语音，我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
Temporal envelope and fine structure cues for dysarthric speech detection using CNNs
Idiap Research Institute（Idiap研究所）
基于深度学习的自动构音障碍语音检测技术最近引起了研究界的兴趣。现有技术通常通过处理时间-频率输入表示（诸如短时傅里叶变换（STFT）的幅度谱）来学习神经典型和构音障碍的辨别表示。虽然这些技术预计将利用感知构音障碍线索，表示，如幅度谱的STFT不一定传达感知方面的复杂的声音。受人类听觉系统的时间处理机制的启发，在本文中，我们将信号分解为缓慢变化的包络和快速变化的精细结构的产物。分别利用存在于包络中的不同感知线索（即，语音信息、重音和发音）和精细结构（即，音调、元音质量和呼吸），通过卷积神经网络学习两种区别性表示，并将其用于自动构音障碍语音检测。实验结果表明，处理的包络和精细结构表示产生一个相当好的构音障碍的语音检测性能比只处理的包络，精细结构，或幅度谱的STFT表示。
2021-08-25 cs.SD eess.AS
Interpretable Deep Learning Model for the Detection and Reconstruction of Dysarthric Speech
Amazon TTS-Research（亚马逊文本转语音研究部）；Gdansk University of Technology（格但斯克工业大学）
提出了一种构音障碍语音的检测与重建方法。编码器-解码器模型将语音分解为低维潜在空间并对输入文本进行编码。我们发现，潜在的空间传达了构音障碍的可解释的特征，如语音的可懂度和流畅性。MUSHRA感知测试表明，潜在空间的自适应使模型生成的语音的流畅性得到改善。用于预测构音障碍语音的概率和梅尔频谱图的多任务监督方法有助于以更高的准确性改善构音障碍的检测。这是由于自动编码器的低维潜在空间，而不是直接从高维梅尔频谱图预测构音障碍。
2019-07-10 cs.CL cs.SD eess.AS
A Study into Pre-training Strategies for Spoken Language Understanding on Dysarthric Speech
端到端（E2E）口语理解（SLU）系统通过将语音直接映射到具有槽值的意图来避免中间文本表示。这种方法需要大量的特定领域的训练数据。在低资源情况下，这是一个主要问题，例如，在本研究中处理SLU构音障碍的讲话。针对自动语音识别目标的SLU模型的预训练部分有所帮助，但没有研究表明，SLU对构音障碍语音的益处在多大程度上来自于从其他构音障碍语音任务转移的知识。本文探讨了构音障碍言语的SLU任务预训练策略的效率。设计的SLU系统包括一个TDNN声学模型的特征编码和一个胶囊网络的意图和时隙解码。声学模型的预训练分为两个阶段：使用正常语音语料库进行初始化，以及对构音障碍和正常语音的混合进行微调。本文通过引入可懂度分数作为构音障碍语音损伤程度的度量指标，定量分析构音障碍语音的泛化程度与病理严重程度的关系。
2021-06-15 eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
Automatic dysarthric speech detection exploiting pairwise distance-based convolutional neural networks
构音障碍语音自动检测技术为构音障碍的临床诊断和治疗提供了可靠、经济的计算机辅助工具。在本文中，我们提出了一种新的自动构音障碍语音检测方法的基础上分析的成对距离矩阵，使用卷积神经网络（CNN）。我们通过发音后验子来表示话语，并考虑成对的语音平衡表示，其中一个表示来自健康说话者（即，参考表示）和来自测试说话者的另一个表示（即，测试表示）。给定这样的参考和测试表示对，首先使用特征提取前端提取特征，计算帧级距离矩阵，并且通过基于CNN的二元分类器将所获得的距离矩阵视为图像。特征提取、距离矩阵计算和基于CNN的分类器在端到端框架中联合优化。在两个不同语言和病理的健康和构音障碍说话者数据库上的实验结果表明，所提出的方法具有较高的构音障碍语音检测性能，优于其他基于CNN的基线方法。
2021-05-28 eess.AS
On using the UA-Speech and TORGO databases to validate automatic dysarthric speech classification approaches
虽然UA-语音和TORGO数据库的控制和构音障碍的语音是宝贵的资源提供给研究界的目标是开发强大的自动语音识别系统，他们也被用来验证相当数量的自动构音障碍语音分类方法。这种方法通常依赖于基本假设，即来自控制和构音障碍扬声器的录音是使用相同的录音设置在相同的无噪声环境中收集的。在本文中，我们表明，这一假设是违反了UA语音和TORGO数据库。使用语音活动检测提取语音和非语音段，我们表明，大多数国家的最先进的构音障碍分类方法实现相同或更好的性能时，使用这些数据库的非语音段比使用语音段。这些结果表明，在UA-语音和TORGO数据库上训练和验证的这种方法可能是记录环境或设置的学习特征，而不是构音障碍的语音特征。我们希望这些结果能提高研究界在开发和评估构音障碍自动分类方法时对录音质量重要性的认识。
2022-11-16 eess.AS
Voice Biomarker Analysis and Automated Severity Classification of Dysarthric Speech in a Multilingual Context
Seoul National University（首尔国立大学）；Graduate School of Linguistics（语言学研究生院）
针对构音障碍评估的单语言局限，提出一种分析英语、韩语和泰米尔语的多语言严重程度分类方法，以支持临床决策。
2024-12-01 cs.CL cs.SD eess.AS
Choosing a PEFT Variant for Per-Patient Dysarthric ASR: A Single-Speaker Case Study on Two ASR Bases
The Scott-Morgan Foundation（斯科特-摩根基金会）；Institute of Informatics, University of Szeged（塞格德大学信息学研究所）
本研究针对一名重度构音障碍的卒中后匈牙利男性说话人，对比七种PEFT变体在两款ASR基础模型上的表现，得出LoRA更具优势、5分钟音频采集可实现近一半CER降低量等结论。
2026-09-03 cs.CL cs.SD
Fine-Tuning Automatic Speech Recognition for People with Parkinson's: An Effective Strategy for Enhancing Speech Technology Accessibility
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对帕金森病患者语音识别难题，提出在SAP数据集上微调ASR模型，并采用多任务学习联合估计损伤严重程度，使词错误率较LibriSpeech基线显著降低。
2024-09-29 cs.SD eess.AS
Towards Automatic Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对障碍语音识别数据稀缺的问题，提出基于强化学习的自动数据增强方法，用RNN策略控制器自动学习SpecAugment的掩码参数，在UASpeech语料上取得优于或媲美手工策略的效果。
2023-12-14 cs.SD eess.AS
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited（塔塔咨询服务公司）；TCS Research and Innovation（TCS研究与创新部门）
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响，还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单（a）患者接受和（b）临床医生解释，则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展，该系统要求患者说出大量的话语。在本文中，我们提出了（a）一个成本最小化的程序，以选择一个最佳的（小）数量的话语，需要由构音障碍患者，（b）四个不同的扬声器独立的可理解性评估系统，需要患者说少量的话，和（c）的评估分数是接近的感知分数，语音语言病理学家（SLP）可以涉及。从可用性的角度来看，患者需要说出少量的话语，并且评分与SLP相关，这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Autoencoder based optimized SSL representations: Complexity Minimization and improved Dysarthric ASR
National Institute of Technology Sikkim（锡金国家技术学院）；Aalto University（阿尔托大学）；University of Southern California（南加州大学）
提出自编码器瓶颈方法压缩自监督学习特征维度，在降低计算复杂度的同时保持构音障碍语音识别性能，训练时间减少8倍且词错误率下降。
2026-06-24 eess.AS
Weak-Supervised Dysarthria-invariant Features for Spoken Language Understanding using an FHVAE and Adversarial Training
KULeuven（鲁汶大学）
构音障碍语音中训练数据的稀缺性和说话人的差异性导致构音障碍语音口语理解系统的准确性和说话人泛化能力较差。通过对语音特征的研究，我们致力于在有限的构音障碍数据下提高模型的泛化能力。无监督训练的因子化分层变分自动编码器（FHVAE）在分离内容和说话人表征方面显示出其优势。早期的工作表明，构音障碍显示在两个特征向量。在这里，我们添加了对抗性训练来弥合控制和构音障碍语音数据域之间的差距。我们使用弱监督提取构音障碍和说话人不变特征。提取的功能进行评估的口语理解任务，并产生更高的准确性看不见的扬声器与更严重的构音障碍相比，从基本的FHVAE模型或平原滤波器组的功能。
2022-10-24 cs.SD eess.AS
Augmenting Large Audio Language Models with Low-Level Acoustic Features for Dysarthric Speech Detection
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
提出微调大型音频语言模型（LALMs）结合低级声学特征与说话者人口统计信息进行构音障碍语音检测，优于深度学习基线，Qwen2-Audio-Instruct达最先进性能。
2026-10-05 eess.AS
Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG（拜耳公司）；Idiap Research Institute（伊迪亚普研究所）
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响，发现该模型会丢失病理声学线索，但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
Language-Independent Approach for Automatic Computation of Vowel Articulation Features in Dysarthric Speech Assessment
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
不精确的元音发音可以在帕金森病（PD）患者中观察到。测量元音清晰度的声学特征已被证明是PD评估的有效指标。根据元音/a/、/i/和/u/的前两个共振峰，导出了标准临床元音发音特征：元音工作空间面积（VSA）、元音发音指数（VAI）和共振峰集中率（FCR）。传统上，在测量元音清晰度之前，需要从语音数据中手动注释角元音。这一过程很耗时。目前的工作旨在减少人类的努力，在临床分析PD语音提出了一个自动管道元音清晰度评估。该方法是基于自动角元音检测使用语言通用音素识别器，然后通过统计分析的共振峰数据。这种方法消除了对说话内容和语言的先验知识的限制。芬兰PD语音语料库上的实验结果表明，所提出的自动方法在获得VAI，VSA，FCR和F2 i/F2 u（第二共振峰比元音/i/和/u/）的有效性和可靠性。自动计算的参数被证明是高度相关的角元音手动注释计算的功能。此外，自动和手动计算的元音发音特征与专家对语音清晰度，语音障碍和沟通障碍的整体严重程度的评级具有可比的相关性。在西班牙语PD数据库PC-GITA和英语构音障碍语音TORGO语料库上进一步验证了所提出方法的独立性。
2021-08-17 cs.SD eess.AS eess.SP
A Preliminary Study of a Two-Stage Paradigm for Preserving Speaker Identity in Dysarthric Voice Conversion
Nagoya University（名古屋大学）；Academia Sinica（中央研究院）；Chi Mei Hospital（奇美医院）
我们提出了一个新的范式，以保持说话人身份在构音障碍的声音转换（DVC）。通过统计VC可以大大改善构音障碍语音的质量，但由于构音障碍患者的正常语音几乎不可能收集，以前的工作未能恢复患者的个性。鉴于此，我们提出了一种新的，两阶段的方法DVC，这是非常灵活的，因为没有正常的语音的病人是必需的。首先，一个强大的并行序列到序列模型将输入构音障碍的语音转换为正常语音的参考扬声器作为一个中间产品，和一个非并行的，逐帧VC模型实现了一个变分自编码器，然后将扬声器身份的参考语音转换回患者，同时假设能够保持增强的质量。我们研究了几种设计方案。实验结果表明，我们的方法，以提高构音障碍的语音质量，同时保持说话人的身份的潜力。
2021-06-02 cs.CL cs.SD eess.AS
Augmenting Open-Vocabulary Dysarthric Speech Assessment with Human Perceptual Supervision
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本研究提出利用语音合成评估中的人类感知标注作为外部领域知识，指导构音障碍语音评估，实验证明该方法能有效提升自监督预训练模型的性能，实现跨领域知识转移。
2025-11-04 eess.AS
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering（Spring实验室，电气工程系）
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法，利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音，以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
Augmenting Dysarthric Speech Severity Assessment with MOS Supervision
Tsinghua University（清华大学）；Beijing University of Posts（北京邮电大学）
提出利用语音合成评估数据（QualiSpeech语料库的MOS标签）增强构音障碍语音评估，微调提升可懂度和自然度预测，联合训练主要提升自然度，减少对临床标注的依赖。
2026-06-18 cs.AI eess.AS
