Structured Speaker-Deficiency Adaptation of Foundation Models for Dysarthric and Elderly Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council of Canada（加拿大国家研究委员会）
本文提出结构化说话人缺陷自适应方法，通过分离建模说话人身份与语音缺陷的适配器组合，显著提升 HuBERT 和 Wav2vec2-conformer 在构音障碍及老年语音识别上的泛化能力，并在 UASpeech 上取得最低词错误率。
2024-12-25 cs.SD eess.AS
Accurate synthesis of Dysarthric Speech for ASR data augmentation
University of Kentucky（肯塔基大学）；University of Connecticut（康涅狄格大学）；Marquette University（马凯特大学）
本文提出带严重程度系数和停顿插入模型的改进神经多说话人TTS，用于合成构音障碍语音以增强ASR训练数据，并在TORGO上显著降低WER。
2023-08-16 cs.LG cs.SD eess.AS
Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对构音障碍及老年语音识别的适配难题，提出VR-SBE特征与f-LHUC变换两种方法，实现ASR模型的即时自适应，在多语种多数据集上取得显著性能提升并达到当前最优水平。
2024-07-08 cs.AI cs.HC cs.LG
Speaker adaptation for Wav2vec2 based dysarthric ASR
Brno University of Technology（布尔诺理工大学）
由于缺乏训练数据和说话人特征严重失配，构音障碍语音识别面临着重大挑战。最近的ASR系统受益于现成的预训练模型，如wav2vec2，以提高识别性能。使用fMLLR和xvectors的说话者自适应为构音障碍语音提供了主要增益，而自适应数据非常少。然而，在wav2vec2微调期间，wav2vec2与fMLLR功能或xvectors的集成还有待探索。在这项工作中，我们提出了一个简单的自适应网络微调wav2vec2使用fMLLR功能。自适应网络还可以灵活地处理其他扬声器自适应功能，如xvectors。实验分析表明，使用我们提出的方法在所有损伤严重程度上都有稳定的改善，并且在UASpeech数据集上达到了57.72\%WER。我们还在德国数据集上进行了实验，以证实我们提出的方法在不同领域的一致性。
2022-04-02 cs.AI cs.LG cs.SD
Enhancing Pre-trained ASR System Fine-tuning for Dysarthric Speech Recognition using Adversarial Data Augmentation
The Chinese University of Hong Kong（香港中文大学）
本文针对构音障碍语音识别数据少、微调泛化差的问题，比较了多种数据增强方法，提出基于GAN的对抗数据增强，在UASpeech上显著降低WER并取得已发表最低错误率16.53%。
2024-01-01 cs.SD eess.AS
Towards Robust Dysarthric Speech Recognition: LLM-Agent Post-ASR Correction Beyond WER
本文提出基于LLM的代理用于ASR后修正，通过语义校正提升口吃语音识别的鲁棒性，实现WER降低和语义性能提升。
2026-01-29 cs.SD eess.AS
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）；University of Maryland, College Park（马里兰大学帕克分校）；Pindrop；SRI International（SRI国际）
人口快速老龄化刺激了辅助设备的发展，为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统，其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别（ASR）技术以能够提供准确的发音反馈。与长期的目标，开发现成的ASR系统，可以纳入临床背景下，没有事先的扬声器信息，我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型，已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能，这些系统上的两个构音障碍的语音数据集的不同特征，以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距，显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
Carnegie Mellon University（卡内基梅隆大学）；FAU Erlangen-Nürnberg（弗赖堡大学埃尔兰根-纽伦堡分校）；Universidad de Antioquia（安东尼奥基亚大学）；TU Delft（代尔夫特理工大学）；Fortemedia（福特媒体）
针对低资源语言构音障碍语音识别数据稀缺问题，本文微调语音转换模型生成构音障碍样语音，增强多语言ASR，在三种语言上显著优于传统方法。
2025-09-25 cs.CL cs.SD eess.AS
Speech Recognition-based Feature Extraction for Enhanced Automatic Severity Classification in Dysarthric Speech
Sogang University（西江大学）
针对构音障碍严重程度评估中ML特征覆盖不足的问题，提出利用微调ASR转写提取词段边界及发音、韵律特征，将平衡准确率提升至83.72%。
2024-12-05 cs.AI cs.SD eess.AS
Synthesizing Dysarthric Speech Using Multi-talker TTS for Dysarthric Speech Recognition
University of Kentucky（肯塔基大学）；University of Connecticut（康涅狄格大学）；Marquette University（马凯特大学）
构音障碍是一种运动性言语障碍，其特征通常是通过缓慢、不协调的言语产生肌肉控制降低言语清晰度。自动语音识别（ASR）系统可以帮助构音障碍的说话者更有效地沟通。为了具有稳健的构音障碍特异性ASR，需要足够的训练语音，这是不容易获得的。文语转换（TTS）合成多说话人端到端TTS系统的最新进展表明，使用合成数据增强的可能性。在本文中，我们的目标是改善多扬声器端到端TTS系统合成构音障碍的语音，以改善构音障碍特异性DNN-HMM ASR的训练。在合成的语音，我们添加构音障碍的严重程度和暂停插入机制，以其他控制参数，如音高，能量和持续时间。结果表明，与基线相比，在额外的合成构音障碍语音上训练的DNN-HMM模型实现了12.2%的WER改善，添加严重程度和暂停插入控制使WER降低了6.5%，显示了添加这些参数的有效性。音频样本可在
2022-01-27 cs.CL cs.SD eess.AS
Personalizing ASR for Dysarthric and Accented Speech with Limited Data
Google（谷歌）；ALS Therapy Development Institute（肌萎缩侧索硬化症治疗发展研究所）
自动语音识别（ASR）系统在过去几年中有了显著的改进。ASR系统通常是从“典型”语音中训练出来的，这意味着代表性不足的群体不会经历同样程度的改善。在本文中，我们提出并评估微调技术，以提高非标准语音用户的ASR。我们专注于两种类型的非标准语音：从肌萎缩侧索硬化症（ALS）和口音语音的人讲话。我们训练个性化模型，在这两组中实现62%和35%的相对WER改善，在消息库短语测试集上，ALS说话者的绝对WER对于轻度构音障碍下降到10%，对于更严重的构音障碍下降到20%。我们表明，71%的改善来自于只有5分钟的训练数据。微调一个特定的层子集（使用更少的参数）通常比微调整个模型提供更好的结果。这是建立构音障碍语音的最新ASR模型的第一步。
2019-07-31 cs.CL cs.LG cs.SD
Improving End-to-End Speech Recognition for Dysarthric Speech through In-Domain Data Augmentation
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（电子与通信工程系，印度尼特拉特技术学院Sikkim分校）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA（信号分析与解释实验室（SAIL），美国南加州大学洛杉矶分校）
针对构音障碍语音识别中数据稀缺和严重程度差异的问题，本文探索了四种数据增强方法（SRM、PM、FM、VTLP）对预训练Wav2Vec2模型进行微调，在不同严重程度上实现了显著的字错误率降低。
2026-06-19 cs.AI cs.SD eess.AS
Re-Sonance: A Dysarthric Asynchronous Real-Time Speech Conversion System Based on a Three-Stage Cascaded ASR-LLM-TTS Architecture
Southeast University（东南大学）；School of Biological Science & Medical Engineering, Southeast University（东南大学生物科学与医学工程学院）
针对构音障碍患者在专业演讲场景的沟通问题，提出基于三级级联ASR-LLM-TTS架构的Re-Sonance系统，集成多种技术，经评估其能提高轻度至中度构音障碍患者语音清晰度与自然度，验证了基于LLM方法增强语音驱动AAC系统的潜力。
2026-07-21 cs.AI cs.SD
Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test
Institute of Information & communications Technology Planning & Evaluation (IITP)（信息与通信技术规划与评估机构）
本文提出Re-SAT方法，通过评估样本的去偏有效性来减轻语音识别系统在口吃语音上的偏差，提升系统对口吃语音的鲁棒性。
2023-06-27 cs.CL cs.LG cs.SD
Cross-Dataset, Age, and Gender Generalization: A Comprehensive Analysis of Fine-Tuning Strategies for Low-Resource Children's ASR
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India（印度西西姆国立技术学院电子与通信工程系）；Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA（美国南加州大学洛杉矶分校信号分析与解释实验室）
针对低资源儿童语音识别，系统分析了不同微调策略在跨数据集、年龄和性别泛化上的表现，发现特定策略能显著提升泛化能力。
2026-06-24 cs.AI cs.SD eess.AS
Recent Progress in the CUHK Dysarthric Speech Recognition System
Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
尽管自动语音识别（ASR）技术在过去的几十年中取得了快速的进步，但迄今为止，对无序语音的识别仍然是一项极具挑战性的任务。无序语音对当前主要针对正常语音的基于数据密集型深度神经网络（DNN）的ASR技术提出了广泛的挑战。本文介绍了最近的研究工作，在香港中文大学（CUHK），以提高性能的障碍语音识别系统上最大的公开可用的UASpeech构音障碍语音语料库。一组新的建模技术，包括神经架构搜索，数据增强使用频谱时间扰动，基于模型的说话人自适应和跨域生成的视觉特征的视听语音识别（AVSR）系统框架内，以解决上述挑战。这些技术的结合在UASpeech测试集（16名构音障碍说话者）上产生了最低的已发布单词错误率（WER），为25.21%，并且与中大2018年构音障碍语音识别系统相比，总体WER绝对降低了5.4%（相对降低了17.6%），该系统具有6路DNN系统组合和域外正常语音数据训练系统的交叉自适应。贝叶斯模型自适应还允许使用少至3.06秒的语音来执行对个体构音障碍说话者的快速自适应。这些技术的有效性进一步证明了CUDYS广东话构音障碍语音识别任务。
2022-02-26 cs.AI cs.LG cs.SD
Automatic Severity Classification of Dysarthric speech by using Self-supervised Model with Multi-task Learning
Seoul National University（首尔国立大学）；Sogang University（西江大学）
针对构音障碍语音评估的数据稀缺问题，提出结合Wav2vec 2.0 XLS-R自监督模型与多任务学习的严重程度分类方法，在QoLT数据库上取得优于基线的效果，并分析了多任务学习的作用机制。
2023-04-28 cs.AI cs.CL cs.SD
Improved Dysarthric Speech to Text Conversion via TTS Personalization
Department of Telecommunications and Artificial Intelligence, Budapest University of Technology, Hungary（电信与人工智能系，布达佩斯技术大学）；Division of Speech, Music and Hearing, KTH Royal Institute of Technology, Sweden（语音、音乐与听觉 division，皇家理工学院）；Hungarian Research Centre for Linguistics, HUN-REN, Hungary（匈牙利语言研究与应用中心）；SpeechTex Ltd., Hungary（SpeechTex有限公司）；Institute of Informatics, University of Szeged, Hungary（信息学院，塞格德大学）
本研究为严重构音障碍的匈牙利语使用者开发定制语音转文本系统，通过个性化TTS生成可控严重程度的合成语音来微调ASR模型，将字符错误率从36-51%降至7.3%，显著优于Whisper-turbo。
2025-08-08 cs.HC cs.SD
DARS: Dysarthria-Aware Rhythm-Style Synthesis for ASR Enhancement
University of Science and Technology of China（中国科学技术大学）；iFlytek Co., Ltd.（iFlytek公司）；Huawei Technology（华为技术）
DARS通过多阶段节奏预测和条件流匹配机制，提升ASR在肌张力障碍语音识别中的性能。
2026-03-02 cs.CL cs.SD
Enhancing AAC Software for Dysarthric Speakers in e-Health Settings: An Evaluation Using TORGO
Northeastern University（东北大学）；University of Victoria（维多利亚大学）
本研究针对构音障碍者在医疗场景中ASR识别率低的问题，提出打破TORGO数据集提示重叠的算法，并评估n-gram和LLM错误纠正方法，以提升非典型语音识别，促进公平医疗访问。
2024-11-08 cs.CL cs.HC cs.SD
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University（西江大学）；Seoul Hospital（首尔医院）；Ewha Womans University College of Medicine（梨花女子大学医学院）
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测，并设计标注方案与独立评估指标，实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
Cross-Learning Fine-Tuning Strategy for Dysarthric Speech Recognition Via CDSD database
College of Information Science and Engineering, Xinjiang University（新疆大学信息科学与工程学院）
针对构音障碍语音识别，提出多说话人交叉学习微调策略，通过同时微调多个构音障碍说话人，增强泛化并降低WER达13.15%。
2025-08-26 cs.AI cs.SD
Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出结合基于信号的语速节奏调整与PWG对抗增强的多阶段方法，并通过Conformer微调和文本纠正，显著提升阿拉伯语构音障碍语音识别性能。
2023-06-07 cs.CL cs.SD eess.AS
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA（安蒂奥基亚大学）
最先进的自动语音识别（ASR）系统在健康语音上表现良好。然而，对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难，因为语音的几个方面，如发音、韵律和发声可能受损。具体来说，我们训练一个声学模型，从Wav 2 Vec，Hubert和跨语言XLSR模型中提取的特征。结果表明，在大的未标记的数据上预训练的语音表示可以提高字出错率（WER）的性能。特别是，多语言模型的功能导致WER低于过滤器组（Fbank）或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者（UASpeech语料库）、患有帕金森氏症构音障碍的西班牙语使用者（PC-GITA语料库）和患有基于麻痹的构音障碍的意大利语使用者（EasyCall语料库）中观察到改善。与使用Fbank特征相比，基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
End-to-End Simultaneous Dysarthric Speech Reconstruction with Frame-Level Adaptor and Multiple Wait-k Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；iFlytek Co., Ltd.（科大讯飞股份有限公司）
本文提出端到端的同时口吃语音重建系统，通过帧级适配模块和多视图知识蒸馏模块，提升重建语音的鲁棒性和可懂度。
2026-03-02 cs.CL cs.SD
Idiosyncratic Versus Normative Modeling of Atypical Speech Recognition: Dysarthric Case Studies
Stony Brook University（史蒂文尼森布鲁克大学）；Vanderbilt University（范德比大学）
本文比较四种 ASR 建模策略，发现结合规范化与特异化的构音障碍特异化模型仅需不到一半个性化数据即可优于纯特异化模型，且仅微调语音编码器可将平均词错误率从 71% 降至 32%。
2025-09-20 cs.CL cs.SD eess.AS
Choosing a PEFT Variant for Per-Patient Dysarthric ASR: A Single-Speaker Case Study on Two ASR Bases
The Scott-Morgan Foundation（斯科特-摩根基金会）；Institute of Informatics, University of Szeged（塞格德大学信息学研究所）
本研究针对一名重度构音障碍的卒中后匈牙利男性说话人，对比七种PEFT变体在两款ASR基础模型上的表现，得出LoRA更具优势、5分钟音频采集可实现近一半CER降低量等结论。
2026-09-03 cs.CL cs.SD
Towards Personalized Federated Learning for Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）
针对构音障碍语音识别中联邦学习异构性问题，提出参数平均和嵌入平均两种个性化聚合策略，在UASpeech和TORGO上分别实现0.99%和0.56%的绝对词错误率降低。
2026-06-12 cs.AI cs.SD
Personalized Fine-Tuning with Controllable Synthetic Speech from LLM-Generated Transcripts for Dysarthric Speech Recognition
Technische Hochschule Nürnberg（纽伦堡技术大学）；Korea Advanced Institute of Science & Technology（韩国科学技术院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡 Friedrich-Alexander 大学）
本研究针对构音障碍语音识别任务，结合参数高效微调、潜在音频表示与合成构音障碍语音数据实现个性化微调，有效降低词错误率，为语音无障碍识别提供优化方案。
2025-05-19 cs.SD eess.AS
Benchmarking Commercial Speech Recognition and Multimodal Large Language Models on Dysarthric Speech: Severity-Stratified Baselines and Architecture-Specific Prompting Effects
University of Strathclyde（思克莱德大学）
本研究评估了商业ASR和MLLM在口吃语音识别中的性能，发现GPT-4o在重度口吃情况下显著降低WER，而Gemini变体表现下降，为辅助语音接口技术选择提供实证依据。
2026-08-24 cs.SD eess.AS
Use of Speech Impairment Severity for Dysarthric Speech Recognition
本文提出同时利用言语障碍严重程度和说话人身份的新方法，通过多任务训练、辅助特征自适应和结构化LHUC变换，在UASpeech上取得最低17.82%的WER。
2023-05-18 cs.AI cs.LG cs.SD
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Robust fine-tuning of speech recognition models via model merging: application to disordered speech
CallyopeFrance（卡利奥佩法国）
本研究通过模型合并方法改进构音障碍语音的ASR，以Whisper为基础，多运行合并相比经典微调降低12%的WER，在长音频上降低16.2%，且无需额外推理成本或调参。
2025-05-26 cs.SD eess.AS
Dysarthria Normalization via Local Lie Group Transformations for Robust ASR
Independent Researcher（独立研究者）
本文提出用局部李群变换建模构音障碍语音的时频与幅度失真，通过仅用合成扭曲健康语音训练的神经网络推断并逆转变形，在TORGO上最多降低17个百分点WER且不损害干净语音性能。
2025-05-04 cs.CL cs.LG cs.SD
Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations
针对一位捷克语气管造口及严重构音障碍说话人，本文提出基于Whisper Base的多阶段微调ASR系统，利用人工对话协议收集的33小时数据，实现字符错误率相对降低50%，证明严重受损语音也可获得有效识别。
2026-10-05 cs.AI cs.CL cs.HC
The Universal Personalizer: Few-Shot Dysarthric Speech Recognition via Meta-Learning
Google DeepMind（谷歌DeepMind）
本文提出了一种基于元学习的通用个性化器，通过上下文学习实现少样本口吃语音识别，实验表明其在多个数据集上的优越性能。
2026-02-23 cs.SD eess.AS
Towards Temporally Explainable Dysarthric Speech Clarity Assessment
National University of Singapore（新加坡国立大学）；Korea University（韩国大学）；Alexandra Hospital（亚历山大医院）
本研究针对构音障碍语音，提出一种包含清晰度打分、错误定位与类型分类的三阶段可解释评估框架，利用预训练ASR模型分析自动发音错误反馈，为临床干预与患者独立练习提供见解。
2025-05-31 cs.HC cs.SD eess.AS
CDSD: Chinese Dysarthria Speech Database
Institute of Psychology（心理研究所）；University of the Chinese Academy of Sciences（中国科学院大学）；Beijing Union University（北京联合大学）；Jiangsu University of Science and Technology（江苏科技大学）；University of Science and Technology of China（中国科学技术大学）
针对构音障碍语音识别因数据有限而面临的挑战，本文开发了目前最庞大的中文构音障碍语音数据库CDSD（含133小时44人录音），基准测试最佳CER达16.4%，优于人类实验的20.45%，为相关研究提供数据支持。
2025-02-13 cs.SD eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield（谢菲尔德大学）
针对构音障碍语音数据稀缺问题，本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音，并微调Whisper等ASR基础模型，显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS
A Few-Shot Approach to Dysarthric Speech Intelligibility Level Classification Using Transformers
Center for Computational Engineering and Networking（计算工程与网络中心）；Amrita Vishwa Vidyapeetham（阿米塔大学）
提出基于 whisper-large-v2 的少样本构音障碍语音分类方法，在 UASpeech 有限数据上检测构音障碍并预测可懂度等级，同时避免数据泄漏。
2023-09-17 cs.CL cs.SD eess.AS
Unsupervised Rhythm and Voice Conversion of Dysarthric to Healthy Speech for ASR
Idiap Research Institute（伊迪亚普研究所）；EPFL, École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
针对ASR系统处理构音障碍语音效果差且现有语速调整方法依赖转录数据的问题，提出结合自监督表示的无监督节奏与音色转换方法，可显著提升重度构音障碍说话者的ASR性能。
2025-01-17 cs.AI cs.LG cs.SD
Applying Speech Tempo-Derived Features, BoAW and Fisher Vectors to Detect Elderly Emotion and Speech in Surgical Masks
MTA-SZTE Research Group on Artificial Intelligence（MTA-SZTE人工智能研究组）；University of Szeged（塞格德大学）
2020年INTERSPEECH计算副语言学挑战赛（ComparE）由三个子挑战组成，其中的任务是识别老年人说话者的唤醒水平和效价，确定实际说话者是否戴着外科口罩，以及估计说话者的实际呼吸。在我们对挑战的贡献中，我们专注于老年人情绪和面具子挑战。除了利用标准或接近标准的功能，如ComparE泛函，Bag-of-Audio-Words和Fisher向量，我们利用情绪与语速（即语速）。为了利用这一点，我们使用ASR系统执行语音级识别，并从输出中提取特征，如发音节奏，语音节奏和测量停顿量的各种属性。我们还假设戴着外科口罩会让说话者感到不安，导致语速变慢和更多犹豫;因此，我们也在口罩子挑战中尝试了相同的功能。虽然这一理论并没有被面具子挑战的实验结果所证明，但在老年人情绪子挑战中，我们在开发集和交叉验证中都获得了这种特征类型的显著改善的唤醒和效价值。
2020-08-07 cs.CL cs.SD eess.AS
Adversarial Data Augmentation Using VAE-GAN for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。本文提出了一种新的变分自动编码器生成对抗网络（VAE-GAN）的个性化的无序语音增强方法，同时学习编码，生成和歧视合成受损语音。单独的潜在功能，推导出学习构音障碍的语音特征和音素上下文表示。还包含了自我监督的预训练Wav 2 vec 2.0嵌入功能。在UASpeech语料库上进行的实验表明，所提出的对抗性数据增强方法始终优于基线速度扰动和非VAE GAN增强方法，具有训练的混合TDNN和端到端Conformer系统。在LHUC扬声器自适应之后，使用基于VAE-GAN的增强的最佳系统在16个构音障碍扬声器的UASpeech测试集上产生了27.78%的总体WER，并且在具有“非常低”可懂度的扬声器子集上产生了57.31%的最低公布WER。
2023-03-19 cs.SD eess.AS
Investigating Self-supervised Pretraining Frameworks for Pathological Speech Recognition
Nagoya University（名古屋大学）
我们研究了用于自动语音识别（ASR）的病理语音数据集上的自监督预训练框架的性能。现代端到端模型需要数千小时的数据才能很好地进行训练，但只有少量的病理语音数据集是公开的。解决这个问题的一个行之有效的方法是首先在大量健康语音数据集上对模型进行预训练，然后在病理语音数据集上对其进行微调。一种新的预训练框架称为自监督学习（SSL），它只使用语音数据训练网络，在训练数据要求方面提供了更大的灵活性，并允许在预训练中使用更多的语音数据。我们研究SSL框架，如wav2vec 2.0和WavLM模型使用不同的设置，并比较它们的性能与不同的监督预训练设置，使用两种类型的病理语音，即日语electrolaryngeal和英语dysarthric。我们的研究结果表明，虽然SSL已显示出成功的最低限度的资源健康的语音，我们没有发现这是病态的语音的情况。最好的监督设置优于最好的SSL设置的13.9%的字符出错率在喉电语音和16.8%的字出错率在构音障碍的语音。
2022-06-29 cs.SD eess.AS
Fine-Tuning Automatic Speech Recognition for People with Parkinson's: An Effective Strategy for Enhancing Speech Technology Accessibility
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对帕金森病患者语音识别难题，提出在SAP数据集上微调ASR模型，并采用多任务学习联合估计损伤严重程度，使词错误率较LibriSpeech基线显著降低。
2024-09-29 cs.SD eess.AS
Controllable Dysarthric Speech Synthesis with Patient-Specific Conditioning for Speaker-Diverse ASR Augmentation
Department of Language Science and Technology, The Hong Kong Polytechnic University（语言科学与技术系，香港理工大学）；College of Rehabilitation Medicine, Fujian University of Traditional Chinese Medicine（康复医学学院，福建中医药大学）；Department of Imaging, Rehabilitation Hospital affiliated to Fujian University of Traditional Chinese Medicine（影像科，福建中医药大学附属康复医院）
本文提出ProtoDisent-TTS框架，通过原型解耦技术实现健康与口吃语音的可控转换，提升语音合成的可控性和鲁棒性。
2026-09-15 cs.CL cs.SD
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
Towards Automatic Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对障碍语音识别数据稀缺的问题，提出基于强化学习的自动数据增强方法，用RNN策略控制器自动学习SpecAugment的掩码参数，在UASpeech语料上取得优于或媲美手工策略的效果。
2023-12-14 cs.SD eess.AS
Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR
Department of Computer Science and Artificial Intelligence, Dongguk University（计算机科学与人工智能系，东国大学）；Department of Biostatistics, Harvard University（生物统计学系，哈佛大学）
本文通过结合大语言模型和语音合成技术，解决老年人ASR数据稀缺问题，实验表明方法有效降低WER达58.2%。
2026-04-15 cs.CL cs.SD
Two-Stage Adaptation for Non-Normative Speech Recognition: Revisiting Speaker-Independent Initialization for Personalization
Leiden Institute of Advanced Computer Science, Leiden University, The Netherlands（莱顿先进计算机科学研究所，莱顿大学，荷兰）；Penobscot Community Health Care, United States（彭纳波克社区医疗服务，美国）；Department of Computational Linguistics, University of Zurich, Switzerland（计算语言学系，苏黎世大学，瑞士）
本文提出两阶段适应框架，通过多说话人非规范数据进行Speaker-Independent微调，再进行Speaker-Specific微调，实验表明在AphasiaBank和UA-Speech数据集上，该方法在保持可控的领域外偏差的同时提升了个性化性能。
2026-03-16 cs.SD
Adversarial Data Augmentation for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。为此，数据增强技术在当前无序的语音识别系统中起着至关重要的作用。与现有的数据增强技术仅修改说话速率或频谱轮廓的整体形状相比，在数据增强期间使用深度卷积生成对抗网络（DCGAN）对无序和正常语音之间的细粒度频谱-时间差异进行建模，以将正常语音频谱修改为更接近无序语音的频谱。在UASpeech语料库上进行的实验表明，在最先进的混合DNN系统上，所提出的对抗性数据增强方法始终优于使用节奏或速度扰动的基线增强方法。在不使用数据增强的情况下，在基线系统上获得了高达3.05%（相对9.7%）的总体字错误率（WER）降低。最后的学习隐藏单元贡献（LHUC）扬声器适应系统使用最好的对抗增强方法给出了一个整体的WER为25.89%的UASpeech测试集的16个构音障碍的扬声器。
2021-08-02 cs.SD eess.AS
Exploiting prompt learning with pre-trained language models for Alzheimer's Disease detection
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本文提出基于提示的预训练语言模型微调方法，将AD分类误差作为训练目标并融合不流利特征，结合多模型与多范式决策投票，在ADReSS20测试集上取得84.20%和82.64%的平均检测准确率。
2023-03-31 cs.CL cs.LG cs.SD
DESAMO: A Device for Elder-Friendly Smart Homes Powered by Embedded LLM with Audio Modality
MAUM AI Inc.（MAUM人工智能公司）；Korea Culture Technology Institute（韩国文化科技研究所）
DESAMO是一款由嵌入式音频大语言模型驱动的适老化智能家居设备，通过直接处理原始音频，解决传统语音助手对老年人模糊语音和非语音音频处理不佳的问题，实现稳健的用户意图与关键事件理解。
2025-08-26 cs.HC cs.SD eess.AS
Large Language Model Data Generation for Enhanced Intent Recognition in German Speech
University of Hamburg - Knowledge Technology（汉堡大学-知识技术）
本文提出结合微调的Whisper ASR模型与LLM生成的合成文本数据集，以提升老年德语语音意图识别的性能，并发现特定领域的较小模型LeoLM在数据集质量上优于更大的ChatGPT。
2025-08-08 cs.CL cs.LG cs.SD
