Exploring ASR-Based Wav2Vec2 for Automated Speech Disorder Assessment: Insights and Analysis
IUC Toulouse(图卢兹大学癌症研究所)
本文首次对用于自动化语音障碍质量评估的基于ASR的Wav2Vec2基线模型进行分析,通过逐层分析比较不同模型,并利用CCA等事后XAI方法增强模型可解释性。
2024-10-10 cs.AI cs.CL cs.SD
Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich(苏黎世大学);University of Tehran(德黑兰大学)
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合,用于构音障碍语音的识别、说话人识别和可懂度评估,并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering(工学研究生院);The University of Tokyo(东京大学)
本研究提出一种基于语音转换和潜在语音表示的语音生成系统,模拟母语者跟读过程,以评估非母语者的语音可懂度,实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
Towards Temporally Explainable Dysarthric Speech Clarity Assessment
National University of Singapore(新加坡国立大学);Korea University(韩国大学);Alexandra Hospital(亚历山大医院)
本研究针对构音障碍语音,提出一种包含清晰度打分、错误定位与类型分类的三阶段可解释评估框架,利用预训练ASR模型分析自动发音错误反馈,为临床干预与患者独立练习提供见解。
2025-05-31 cs.HC cs.SD eess.AS
Application of Whisper in Clinical Practice: the Post-Stroke Speech Assessment during a Naming Task
Department of Neuroimaging, King’s College London, UK(伦敦国王学院神经影像部门);Department of Brain Sciences, Imperial College London, UK(伦敦帝国学院脑科学部门)
本研究评估ASR基础模型Whisper在卒中患者图片命名任务言语分析中的应用,发现微调可大幅提升转录准确率并支持言语质量预测,但跨域泛化仍有局限,为卒中相关言语障碍的自动化评估提供了新思路。
2025-10-28 cs.SD eess.AS
Self-Supervised Speech Quality Assessment (S3QA): Leveraging Speech Foundation Models for a Scalable Speech Quality Metric
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
本文提出自监督语音质量评估模型S3QA,利用WavLM嵌入余弦距离作为训练目标,在多种退化条件下预测语音质量,并与MOS和ASR性能对齐,实现可扩展的自动评估。
2025-10-08 cs.SD eess.AS
Towards Automated Assessment of Stuttering and Stuttering Therapy
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用科学大学);Institut der Kasseler Stottertherapie(卡塞尔口吃治疗研究所)
口吃是一种复杂的言语障碍,可以通过说话时的重复,声音,音节或单词的重复以及块来识别。严重程度评估通常由语言治疗师完成。虽然尝试了自动评估,但很少用于治疗。评估口吃严重程度的常用方法包括口吃音节百分比(% SS),言语任务中三个最长口吃症状的平均值,或最近引入的言语效率评分(SES)。本文介绍了一种评价口吃严重程度的新方法--言语控制指数(SCI)。与SES不同,它还可以用于评估流畅性塑造的治疗成功率。我们评估SES和SCI的一个新的全面标记的数据集,包含客户口吃的德语演讲之前,期间和之后进行口吃治疗。自动语音识别系统的音素对齐根据其与标记的口吃事件的相对位置进行统计评估。结果表明,音素长度分布不同,就其位置和周围的标记口吃事件
2020-06-16 cs.CL cs.LG cs.SD
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica(中国科学院);National Chengchi University(中正大学)
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA,通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案,较基线模型实现2.59%的相对RMSE提升,验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Spectro-Temporal Deep Features for Disordered Speech Assessment and Recognition
1 The Chinese University of Hong Kong 2 Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences
迄今为止,对无序语音的自动识别仍然是一项极具挑战性的任务。在正常言语中常见的变异性来源,包括口音、年龄或性别,当进一步与言语障碍的根本原因和不同的严重程度相结合时,会在说话者中产生很大的多样性。为此,说话人自适应技术在当前的语音识别系统中起着至关重要的作用。受语音障碍和正常语音之间的频谱-时间水平差异的启发,语音障碍系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流畅增加,提出了一种新的嵌入语音频谱SVD分解深度特征的谱-时子空间基,以便于准确的语音可懂度评估和基于辅助特征的说话人状态自适应。混合DNN和端到端无序语音识别系统。在UASpeech语料库上进行的实验表明,所提出的频谱-时间深度特征自适应系统在有或没有数据增强的情况下,字出错率(WER)的绝对(8.6%相对)降低一直优于基线i-Vector自适应。进一步应用了基于学习隐单元贡献的说话人自适应算法。使用所提出的谱基嵌入特征的最终说话者自适应系统在16个构音障碍说话者的UASpeech测试集上给出了25.6%的总体WER
2022-01-14 cs.AI cs.LG cs.SD
Advancing Hearing Assessment: An ASR-Based Frequency-Specific Speech Test for Diagnosing Presbycusis
Institute of Sound and Vibration Research, University of Southampton(声学与振动研究所,南安普顿大学)
本文提出一种基于ASR的特定频率语音测试,通过模拟中度倾斜型听力损失的声学退化并分析音素混淆模式,为诊断老年性耳聋提供客观、精细的评估方法。
2025-05-28 cs.CL cs.SD eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种多语言口吃语音评估框架,结合通用音素识别与语言特定音素对比建模,提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
Exploring Pathological Speech Quality Assessment with ASR-Powered Wav2Vec2 in Data-Scarce Context
LIA, Avignon Université(阿维尼翁大学计算机科学与人工智能实验室);Aix-Marseille Univ, LPL, CNRS(艾克斯-马赛大学、言语与语言实验室、法国国家科学研究中心);IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3(图卢兹大学、法国国家科学研究中心、图卢兹国立理工学院、图卢兹第三大学、图卢兹计算机科学研究所);IUC Toulouse, CHU Toulouse(图卢兹大学癌症研究所、图卢兹大学中心医院);Laboratoire de NeuroPsychoLinguistique, UR 4156, Université de Toulouse(图卢兹大学神经心理语言学实验室)
本文提出在数据稀缺条件下利用ASR驱动的预训练Wav2Vec2在音频层面进行病理语音质量评估,在HNC数据集上仅用95个样本即取得优于现有方法的结果,揭示了ASR与语音质量评估之间的强相关性。
2024-03-29 cs.CL cs.LG cs.SD
Automatic Speech Recognition for Speech Assessment of Persian Preschool Children
University of Tehran(德黑兰大学)
针对现有ASR系统因预训练语音特性不适配儿童语音、无法用于波斯语学龄前儿童言语评估的问题,本研究为Wav2Vec 2.0新增随机频率音高训练目标,结合新数据集微调,在多项测试及零少样本场景下均取得更优表现。
2023-08-24 cs.CL cs.SD eess.AS
Zero-Shot Automatic Pronunciation Assessment
National University of Singapore(新加坡国立大学)
本文提出基于预训练声学模型HuBERT的零样本自动发音评估方法,通过掩码、Transformer编码、k-means聚类和错误恢复token计数进行评分,在speechocean762上取得与有监督回归基线相当的PCC性能。
2023-05-31 cs.CL cs.LG cs.SD
Towards explainable reference-free speech intelligibility evaluation of people with pathological speech
Nagoya University(名古屋大学);Groningen University(格罗宁根大学);University Hospital Cologne(科隆大学医院);University Hospital CologneGermany(科隆大学医院)
本文提出了一种无参考、可解释的ASR不一致性评分,用于评估病理语音的可懂性,其性能接近或优于基于参考的词错误率基线。
2026-02-16 cs.SD
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur(印度理工学院坎普尔分校)
本文综述基于卷积的语音信号处理模型(如CNNs、Conformers等)的统计背景与多场景应用,通过对比训练成本、模型大小等指标分析各模型优劣,为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
Optimizing Multi-Stuttered Speech Classification: Leveraging Whisper's Encoder for Efficient Parameter Reduction in Automated Assessment
School of Electrical Engineering and Computer Science (SEECS)(电气工程与计算机科学学院(SEECS));National University of Sciences and Technology (NUST)(国家科技大学(NUST))
本研究利用Whisper编码器进行多标签分类,通过层冻结策略仅微调单层,将可训练参数减少83.7%,在Fluency-Bank上实现高F1分数,高效识别多口吃语音。
2025-02-26 cs.LG cs.SD eess.AS
Acoustic Feature Mixup for Balanced Multi-aspect Pronunciation Assessment
Graduate School of AI, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对多维度发音评估中数据稀缺、分数分布不均的问题,提出两种结合批次平均特征的声学特征Mixup策略,搭配细粒度错误率特征,在speechocean762数据集上有效提升了评分性能。
2024-06-22 cs.AI cs.CL cs.SD
wav2vec and its current potential to Automatic Speech Recognition in German for the usage in Digital History: A comparative assessment of available ASR-technologies for the use in cultural heritage contexts
University of Graz(格拉茨大学)
在本案例研究中,我们为德语自动语音识别(ASR)培训并发布了一个最先进的开源模型,以评估该技术在数字人文和文化遗产更大背景下的当前潜力。随着这篇论文,我们发布了我们基于wav2vec2的语音到文本模型,同时我们评估了它在我们收集的历史录音语料库上的性能,并与基于商业云的专有服务进行了比较。虽然我们的模型取得了中等的结果,但我们看到专有云服务的表现要好得多。正如我们的结果所示,目前可以实现超过90%的识别率,但是,一旦录音的音频质量有限或使用非日常或过时的语言,这些数字就会迅速下降。一个大问题是德语中不同方言和口音的高度多样性。尽管如此,本文强调,目前可用的识别质量足够高,可以解决数字人文学科中的各种用例。我们认为,ASR将成为一个关键技术的文件和分析的视听来源,并确定了一系列的重要问题,卫生署社区和文化遗产的利益相关者将不得不在不久的将来解决。
2023-03-06 cs.CL cs.LG cs.SD