HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
MOSRA: Joint Mean Opinion Score and Room Acoustics Speech Quality Assessment
Logitech Europe S.A.（罗技欧洲公司）
声学环境可降低通信期间的语音质量（例如，视频通话、远程演示、外部语音记录），并且其影响通常是未知的。考虑到影响语音质量的因素的多维性和收集标记数据的困难性，语音质量的客观度量已经被证明是具有挑战性的。假设声学对语音质量的影响，本文提出了MOSRA：一种非侵入性的多维语音质量度量，可以预测房间声学参数（SNR，STI，T60，DRR和C50）以及语音质量的总体平均意见得分（MOS）。通过显式优化模型来学习这些房间声学参数，我们可以提取更多信息的特征，并在训练数据有限的情况下提高MOS任务的泛化能力。此外，我们还表明，这种联合训练方法增强了室内声学的盲估计，提高了当前最先进模型的性能。这种联合预测的另一个副作用是提高了预测的可解释性，这对许多应用来说是一个有价值的功能。
2022-06-29 cs.AI cs.LG cs.SD
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
Quality-Net: An End-to-End Non-intrusive Speech Quality Assessment Model based on BLSTM
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（国立台湾大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
目前，大多数客观语音质量评估工具（例如，语音质量的感知评估（PESQ））是基于降级/处理的语音与其干净对应物的比较。对“黄金”参考的需要在很大程度上限制了这种评估工具在现实世界中的实用性，因为通常无法获得干净的参考。另一方面，人类可以容易地评估语音质量而无需任何参考（例如，平均意见评分测试），这意味着存在客观和非侵入性（不需要干净的参考）的质量评估机制。在这项研究中，我们提出了一种新的端到端，非侵入性的语音质量评估模型，称为质量网络，基于双向长短期记忆。Quality-Net中的语音质量评价是基于帧级评价的。帧约束和合理的初始化的遗忘门偏置被应用于学习有意义的帧级质量评估从话语级质量标签。实验结果表明，Quality-Net可以产生较高的相关性PESQ（0.9的噪声语音和语音增强处理后的语音0.84）。我们相信，质量网络有潜力被用于各种各样的应用程序的语音信号处理。
2018-08-17 cs.AI cs.SD eess.AS
Interpreting Pretrained Speech Models for Automatic Speech Assessment of Voice Disorders
University of South Wales（南威尔士大学）
本文通过注意力展开方法解释预训练语音模型在嗓音障碍检测中的决策机制，发现微调会使模型注意力收窄并集中于特定音素区域。
2024-06-29 cs.AI cs.SD eess.AS
Non-intrusive Speech Quality Assessment with Diffusion Models Trained on Clean Speech
University of Hamburg（汉堡大学）
本研究探索扩散模型在语音密度估计的潜力，提出仅用干净语音训练的无监督非侵入式语音质量评估方法，通过确定性加噪得到的终端高斯分布似然评估质量，与侵入式指标及人类评分相关性良好。
2025-06-13 cs.LG cs.SD eess.AS
Deep Learning Based Assessment of Synthetic Speech Naturalness
本文提出了一种新的合成语音自然度客观预测模型。它可用于评估文本到语音或语音转换系统和工作语言独立。该模型是端到端训练的，并且基于CNN-LSTM网络，该网络先前已被证明可以为语音质量估计提供良好的结果。我们在16个不同的数据集上训练和测试了这个模型，比如暴雪挑战赛和语音转换挑战赛。此外，我们表明，基于深度学习的自然度预测的可靠性可以通过迁移学习从基于客观POLQA分数训练的语音质量预测模型中得到提高。所提出的模型是公开的，可以，例如，用于评估不同的TTS系统配置。
2021-04-23 cs.AI cs.CL cs.LG
CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment
Bose Corporation（博士公司）；Indiana University（印第安纳大学）
语音质量评估已经成为许多语音通信相关应用（如电话和在线会议）的关键组成部分。传统的侵入式语音质量评估需要退化话语的干净参考来提供准确的质量测量。这一要求限制了这些方法在真实场景中的可用性。另一方面，非侵入式主观测量是评估语音质量的“金标准”，因为人类听众可以轻松地从本质上评估任何降级语音的质量。在本文中，我们提出了一种新的端到端的模型结构，称为卷积上下文感知Transformer（CCAT）网络来预测人类评分员的平均意见得分（MOS）。我们在跨越多种语言和失真类型的三个MOS注释数据集上评估了我们的模型，并将结果提交给ConferencingSpeech 2022挑战赛。我们的实验表明，CCAT提供了有前途的MOS预测相比，目前最先进的非侵入性语音评估模型的平均皮尔逊相关系数（PCC）从0.530增加到0.697和平均RMSE从0.768下降到0.570相比，挑战评估测试集的基线模型。
2022-11-04 cs.LG cs.SD eess.AS
Residual-Guided Non-Intrusive Speech Quality Assessment
Ningbo University, China（宁波大学，中国）
提出了一种基于受损语音和增强语音残差的非侵入式语音质量评估方法。我们的任务的困难是特别缺乏信息，相应的参考语音是缺席。我们在受损语音上生成增强语音以补偿参考音频的缺失，然后将残差信息与受损语音配对。与直接将受损语音输入模型相比，残差可以从增强的对比度中带来一些额外的有用信息。人耳对某些噪声敏感，但与深度学习模型不同。导致模型预测的平均意见得分（MOS）不足以很好地拟合我们的主观敏感性，并导致偏差。这些残差与参考语音有密切的关系，从而提高了深度学习模型预测MOS的能力。在训练阶段，实验结果表明，在同等条件下，与残差配对可以快速获得较好的评价指标。此外，我们的最终结果在PLCC和RMSE中分别提高了31.3%和14.1%。
2022-03-22 cs.LG cs.SD eess.AS
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited（塔塔咨询服务公司）；TCS Research and Innovation（TCS研究与创新部门）
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响，还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单（a）患者接受和（b）临床医生解释，则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展，该系统要求患者说出大量的话语。在本文中，我们提出了（a）一个成本最小化的程序，以选择一个最佳的（小）数量的话语，需要由构音障碍患者，（b）四个不同的扬声器独立的可理解性评估系统，需要患者说少量的话，和（c）的评估分数是接近的感知分数，语音语言病理学家（SLP）可以涉及。从可用性的角度来看，患者需要说出少量的话语，并且评分与SLP相关，这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
大多数客观的语音清晰度评估指标的计算需要干净的语音作为参考。这种要求可能会限制这些指标在现实世界场景中的适用性。为了克服这一限制，我们提出了一种基于深度学习的非侵入式语音可懂度评估模型，即STOI-Net。STOI-Net的输入和输出分别是语音频谱特征和预测的STOI分数。该模型是由一个卷积神经网络和双向长短期记忆（CNN-BLSTM）架构与乘法注意力机制的组合。实验结果表明，由STOI-Net估计的STOI分数与实际的STOI分数有很好的相关性时，测试与噪声和增强的语音话语。相关值分别为0.97和0.83，对于可见的测试条件（测试扬声器和噪声类型涉及训练集）和不可见的测试条件（测试扬声器和噪声类型不涉及训练集）。结果证实了STOI-Net在不参考干净语音的情况下准确预测STOI分数的能力。
2020-11-09 cs.LG cs.SD eess.AS
Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning
Inner Mongolia University（内蒙古大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Imperial College London（帝国理工学院）
在情感文本到语音和语音转换等应用中，需要对语音进行情感分类和情感强度评估。提出了基于支持向量机（SVM）的情感属性排序函数，用于情感语音语料的情感强度预测。然而，训练的排序函数不能推广到新的领域，这限制了应用范围，特别是对于域外或看不见的语音。在本文中，我们提出了一个数据驱动的深度学习模型，即StrengthNet，以提高对可见和不可见语音的情感强度评估的泛化能力。这是通过融合来自各个领域的情感数据来实现的。我们遵循一个多任务学习网络架构，其中包括一个声学编码器，一个强度预测器，和一个辅助情感预测器。实验表明，所提出的StrengthNet的预测的情感强度是高度相关的地面真实分数为可见和不可见的语音。我们在https://github.com/ttslr/StrengthNet上发布源代码。
2022-06-15 cs.LG cs.SD eess.AS
Dementia Assessment Using Mandarin Speech with an Attention-based Speech Recognition Encoder
National Tsing Hua University（国立清华大学）；Shuang-Ho Hospital（双和医院）；Taipei Medical University（台北医学大学）；Taipei Medical University Hospital（台北医学大学附设医院）
针对痴呆症诊断复杂耗时的问题，本研究提取基于注意力的普通话语音识别模型编码器并加线性层构建评估系统，在99名受试者数据上实现92.04%的阿尔茨海默病检测准确率与9%的临床痴呆评分预测平均绝对误差。
2023-12-15 cs.CL cs.LG cs.SD
MetricNet: Towards Improved Modeling For Non-Intrusive Speech Quality Assessment
Tencent AI Lab（腾讯人工智能实验室）
语音质量的客观评价通常是通过将接收到的语音信号与其干净的参考进行比较来进行的，而人类能够在没有任何参考的情况下评价语音质量，例如在平均意见得分（MOS）测试中。非侵入式语音质量评估最近引起了人们的广泛关注，由于缺乏获得干净的参考信号，在现实情况下的客观评价。在本文中，我们提出了一种新的非侵入式语音质量测量模型，MetricNet，它利用标签分布学习和联合语音重建学习，以实现显着提高性能相比，现有的非侵入式语音质量测量模型。我们证明，该方法产生了有希望的高相关性的侵入性客观评价的语音质量的干净，嘈杂和处理的语音数据。
2021-04-02 cs.SD eess.AS
Augmenting Dysarthric Speech Severity Assessment with MOS Supervision
Tsinghua University（清华大学）；Beijing University of Posts（北京邮电大学）
提出利用语音合成评估数据（QualiSpeech语料库的MOS标签）增强构音障碍语音评估，微调提升可懂度和自然度预测，联合训练主要提升自然度，减少对临床标注的依赖。
2026-06-18 cs.AI eess.AS
SESQA: semi-supervised learning for speech quality assessment
Dolby Laboratories（杜比实验室）
自动语音质量评估是一个重要的，横向的任务，其进展受到人类注释的缺乏，对看不见的记录条件的概括性差，以及现有方法缺乏灵活性的阻碍。在这项工作中，我们使用半监督学习方法来解决这些问题，将可用的注释与编程生成的数据相结合，并使用3种不同的优化标准以及5个互补的辅助任务。我们的结果表明，这种半监督方法可以将现有方法的错误减少36%以上，同时在可重用特征或辅助输出方面提供额外的好处。改进进一步证实了一个样本外测试显示有前途的泛化能力。
2021-02-08 cs.LG cs.SD eess.AS
Rubric-Guided Fine-tuning of SpeechLLMs for Multi-Aspect, Multi-Rater L2 Reading-Speech Assessment
本文提出基于评分标准的语音大模型微调方法，通过多维度评分标准和不确定性校准，提升二语阅读语音评估的可靠性与可解释性。
2026-02-28 cs.AI cs.CL cs.SD
Speech Analysis for Automatic Mania Assessment in Bipolar Disorder
Boğaziçi University（博阿齐奇大学）；Utrecht University（乌得勒支大学）；University of Alberta（阿尔伯塔大学）；Erenköy Psychiatric and Neurological Diseases Training and Research Hospital（埃伦科伊精神病与神经病学疾病培训和研究医院）
双相情感障碍是一种精神障碍，导致躁狂和抑郁发作的时期。在这项工作中，我们从双相情感障碍语料库，包含7个不同的任务，分为轻躁狂，躁狂和缓解类，只使用语音功能的录音。我们进行我们的实验分裂任务的采访。在用第6和第7个任务一起训练的模型上获得的最佳结果给出了0.53 UAR（未加权平均召回率）结果，高于语料库的基线结果。
2022-02-05 cs.LG cs.SD eess.AS
StrengthNet: Deep Learning-based Emotion Strength Assessment for Emotional Speech Synthesis
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
近年来，情感语音合成取得了显著的成绩。通过情感属性排序函数得到强度描述子，可以灵活地控制合成语音的情感强度。然而，在特定数据上训练的排名函数具有较差的泛化能力，这限制了其在更现实情况下的适用性。在本文中，我们提出了一个基于深度学习的情感强度评估网络，用于强度预测，称为StrengthNet。我们的模型符合多任务学习框架的结构，其中包括一个声学编码器，强度预测器和一个辅助情感预测器。采用数据增强策略提高模型的泛化能力。实验表明，所提出的StrengthNet的预测情感强度与可见和不可见语音的地面真实分数高度相关。我们的代码可在https://github.com/ttslr/StrengthNet上获得。
2021-10-08 cs.AI cs.SD eess.AS
Deep MOS Predictor for Synthetic Speech Using Cluster-Based Modeling
KAIST（韩国科学技术院）
虽然深度学习在语音合成和语音转换方面取得了令人印象深刻的进展，但对合成语音的评估仍然由人类参与者进行。最近的几篇论文提出了基于深度学习的评估模型，并显示了自动化语音质量评估的潜力。为了改进先前提出的评估模型，MOSNet，我们提出了三个模型，使用基于集群的建模方法：使用全局质量令牌（GQT）层，使用编码层，并使用它们两者。我们使用2018年语音转换挑战赛的评估结果进行实验，以预测合成语音的平均意见得分以及合成语音与参考语音之间的相似度得分。结果表明，GQT层有助于通过自动学习任务的有用质量标记来更好地预测人类评估，编码层有助于更精确地利用帧级分数。
2020-08-09 cs.LG cs.SD eess.AS
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia（沙特阿拉伯国防部）；Ability Center, Saudi Arabia（沙特阿拉伯能力中心）；University of Rochester, USA（罗切斯特大学）
提出Harf-Speech模块化系统，结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器，在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC，优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
Multi-Task Pseudo-Label Learning for Non-Intrusive Speech Quality Assessment Model
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Fortemedia（扬智科技）
本研究提出基于多任务伪标签学习的非侵入式语音质量评估模型MTQ-Net，利用预训练模型生成伪标签并结合监督与半监督损失训练，实验证明其优于现有方法。
2024-03-13 cs.LG cs.SD eess.AS
Exploring ASR-Based Wav2Vec2 for Automated Speech Disorder Assessment: Insights and Analysis
IUC Toulouse（图卢兹大学癌症研究所）
本文首次对用于自动化语音障碍质量评估的基于ASR的Wav2Vec2基线模型进行分析，通过逐层分析比较不同模型，并利用CCA等事后XAI方法增强模型可解释性。
2024-10-10 cs.AI cs.CL cs.SD
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
PASQA: Pitch-Accent-Focused Speech Quality Assessment Model Trained on Synthetic Speech with Accent Errors
LY Corporation（LY公司）
提出PASQA模型，通过可控重音合成数据集和伪重音质量分数，结合自监督表示、摩拉条件融合等训练策略，有效评估音高重音正确性，优于传统MOS模型。
2026-06-19 cs.CL cs.LG cs.SD
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架，以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
SVSNet: An End-to-end Speaker Voice Similarity Assessment Model
神经评价指标，为众多的语音生成任务，最近引起了极大的关注。在本文中，我们提出了SVSNet，第一个端到端的神经网络模型来评估转换语音和自然语音之间的说话人语音相似性的语音转换任务。与大多数使用手工特征的神经评估指标不同，SVSNet直接将原始波形作为输入，以更完整地利用语音信息进行预测。SVSNet由编码器、共同注意力、距离计算和预测模块组成，并以端到端的方式进行训练。在2018年和2020年语音转换挑战赛（VCC2018和VCC2020）数据集上的实验结果表明，SVSNet在话语和系统级别的说话人相似性评估方面优于已知的基线系统。
2022-02-17 cs.LG cs.SD eess.AS
Disentangled Latent Speech Representation for Automatic Pathological Intelligibility Assessment
Ludwig-Maximilians University（路德维希-马克西米利安大学）
语言清晰度评估在病理性语言障碍患者的治疗中起着重要的作用。自动和客观的措施是可取的，以协助治疗师在其传统的主观和劳动密集型的评估。在这项工作中，我们研究了一种新的方法来获得这样一个措施，使用的分歧解开潜在的语音表示的平行话语对，从一个健康的参考和病理扬声器。在脑瘫患者的英语数据库上进行的实验，使用每个说话者的所有可用话语，显示出与主观可懂度测量的高且显著的相关值（R = -0.9），而在四个不同的参考说话者对之间仅具有最小的偏差（± 0.01）。我们还证明了所提出的方法的鲁棒性（R = -0.89偏差+-0.02超过1000次迭代），考虑每个扬声器的话语量显着减少。我们的研究结果是第一个表明，解开的语音表示可以用于自动病理语音可懂度评估，从而在一个参考扬声器对不变的方法，适用于只有几个可用的话语的情况。
2022-06-27 cs.CL cs.LG cs.SD
Zero-Shot Text-to-Speech as Golden Speech Generator: A Systematic Framework and its Applicability in Automatic Pronunciation Assessment
Department of Computer Science and Information Engineering（计算机科学与信息工程系）；Department of Educational Psychology and Counseling（教育心理学与咨询系）；Department of Computer Science（计算机科学系）；Department of Educational Psychology（教育心理学系）
提出利用ZS-TTS生成学习者专属黄金语音的系统化框架，并验证其在自动发音评估中可显著提升多项指标性能。
2025-07-26 cs.AI eess.AS
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
Uni-VERSA: Versatile Speech Assessment with a Unified Network
Carnegie Mellon University（卡内基梅隆大学）；Language Technologies Institute（语言技术研究所）
针对主观听感测试昂贵且现有客观指标单一的问题，提出统一网络Uni-VERSA，同时预测自然度、可懂度等多维指标，经URGENT24基准验证，可替代单方面评估且与人类感知高度一致。
2025-05-27 cs.SD eess.AS
Towards objective and interpretable speech disorder assessment: a comparative analysis of CNN and transformer-based models
Avignon University（阿维尼翁大学）；Aix-Marseille Univ（艾克斯-马赛大学）；Toulouse University（图卢兹大学）；Toulouse Hospital（图卢兹医院）
针对头颈癌患者病理性言语评估的主观性问题，提出基于自监督 Wav2Vec2 的音素分类模型，并通过多语料库实验证明其优于 CNN 基线且与感知评估相关，为可解释的临床言语分析提供支持。
2024-06-07 cs.LG cs.SD eess.AS
NVMOS: Non-Verbal Vocalization Quality Assessment in Speech
University of Science and Technology of China（中国科学技术大学）
针对非语言发声（如笑声、叹息）的感知质量评估空白，构建NV-MOS数据集，提出首个专用模型NVMOS，通过局部聚焦模块达到专家级评估一致性。
2026-06-16 cs.AI cs.SD eess.AS
QualiSpeech: A Speech Quality Assessment Dataset with Natural Language Reasoning and Descriptions
Tsinghua University（清华大学）；ByteDance（字节跳动）；Academia Sinica（中国科学院）；National Institute of Informatics（日本信息处理研究所）
针对语音质量评估现有数据集缺乏自然语言全面标注的问题，研究推出含11个维度及推理式自然语言评注的QualiSpeech数据集与对应基准，验证了微调听觉大模型生成语音质量描述的能力及推理的提升作用。
2025-06-15 cs.AI cs.CL cs.SD
Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations
Language Technologies Research Center（语言技术研究中心）
针对有监督语音可懂度检测依赖人工标注、扩展性差的问题，提出基于Wav2Vec-2.0自监督表征与DTW对齐距离的无监督方法，三种距离度量下准确率最高达96.58%。
2023-06-15 cs.AI cs.SD eess.AS
CUCHILD: A Large-Scale Cantonese Corpus of Child Speech for Phonology and Articulation Assessment
The Chinese University of Hong Kong（香港中文大学）
本文介绍了大规模粤语儿童语音语料库CUCHILD的设计与开发。该语料库包含从1,986名3至6岁的儿童说话者收集的口语单词。语音材料包括130个单词，长度为1至4个音节。演讲者涵盖了典型发育（TD）儿童和言语障碍儿童。语料库的预期用途是支持科学和临床研究，以及与儿童语音评估相关的技术开发。本文详细介绍了语料库的设计，包括语料库的选词、参与者的招募、数据的采集过程以及数据的预处理。声学分析的结果来说明儿童语音的属性。讨论了该语料库在自动语音识别、语音检错和说话人分类等方面的潜在应用。
2020-08-07 cs.SD eess.AS
Comparison of user models based on GMM-UBM and i-vectors for speech, handwriting, and gait assessment of Parkinson's disease patients
Universidad de Antioquia UdeA（安蒂奥基亚大学）
帕金森病是一种神经退行性疾病，其特征在于存在不同的运动障碍。来自语音、手写和步态信号的信息被认为是评估患者的神经状态。另一方面，基于高斯混合模型的用户模型-通用背景模型（GMM-UBM）和i向量被认为是说话人验证等生物识别应用中的最新技术，因为它们能够对特定说话人特征进行建模。本研究介绍了使用GMM-UBM和i向量，以评估帕金森氏症患者的神经系统状态，使用语音，手写和步态的信息。结果表明，在评估患者的神经系统状态时，来自每种类型的信号的不同特征集的重要性。
2020-02-13 cs.LG cs.SD eess.AS
Advancing Speech Quality Assessment Through Scientific Challenges and Open-source Activities
Nagoya University, Japan（名古屋大学）
本文回顾了语音质量评估领域的近期科学挑战与开源工具，指出这些活动推动了自动SQA方法的发展，并强调其对语音生成式人工智能进步的重要意义。
2025-08-28 cs.SD eess.AS
Multimodal Assessment of Speech Impairment in ALS Using Audio-Visual and Machine Learning Approaches
KITE Research Institute, University Health Network（大学健康网络KITE研究所）
本研究结合视听分析与机器学习预测ALS患者言语障碍，使用多模态特征训练回归模型，发现极端提升机回归器预测效果最佳，为延髓功能障碍的早期检测和监测提供了客观工具。
2025-05-27 cs.SD eess.AS
Unifying Listener Scoring Scales: Comparison Learning Framework for Speech Quality Assessment and Continuous Speech Emotion Recognition
Department of Intelligent Systems（智能系统系）；Digital Content and Media Sciences Research Division（数字内容与媒体科学研究部）
本文针对语音质量评估和连续语音情感识别中听者评分偏差问题，提出基于比较学习的统一听者评分尺度建模方法，有效提升了两个任务的预测性能。
2025-07-21 cs.SD eess.AS
AECMOS: A speech quality assessment metric for echo impairment
Microsoft Corporation（微软公司）
传统上，使用诸如ERLE \cite{g168}和PESQ \cite{p862}之类的侵入式语音质量评估措施或者通过执行主观实验室测试来评估声学回声消除器的质量。不幸的是，前者与人的主观测量没有很好的相关性，而后者执行起来耗时耗力。我们提供了一种新的回声损伤语音质量评估工具，可用于评估声学回声消除器的性能。更确切地说，我们开发了一个神经网络模型来评估呼叫质量下降在两个不同的类别：回声和其他来源的降级。我们表明，我们的模型是准确的，与人类主观质量评级的相关性。我们的工具可以有效地用于堆叠排名回声消除模型。AECMOS将作为Azure服务公开提供。
2022-01-27 cs.SD eess.AS
Probing Whisper for Dysarthric Speech in Detection and Assessment
TU Delft, the Netherlands（代尔夫特理工大学）；King's College London, UK（伦敦国王学院）
本研究针对构音障碍语音的检测与评估任务，对Whisper-Medium编码器进行逐层探测分析，发现中间13-15层信息量最高，微调仅带来小幅变化，提升了模型可解释性并为病理语音应用提供指导。
2025-10-05 cs.SD eess.AS
Towards the Objective Speech Assessment of Smoking Status based on Voice Features: A Review of the Literature
Massey University（梅西大学）；University of Auckland（奥克兰大学）
在戒烟临床研究和实践中，对自我报告的吸烟状态进行客观验证对于确保主要结局（即戒烟）的可靠性至关重要。语音信号传达关于说话者的重要信息，诸如年龄、性别、体型、情绪状态和健康状态。我们研究了（1）吸烟是否可以明显改变声音特征，（2）戒烟是否会导致声音变化，以及（3）基于声音的吸烟状态评估是否有可能用作客观的戒烟验证方法。
2021-06-15 cs.SD eess.AS
Dyadic Interaction Assessment from Free-living Audio for Depression Severity Assessment
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
抑郁症中的精神发育迟滞与二元临床访谈中的言语时间变化有关。在这项工作中，我们研究了自由生活的二元交互的语音计时特征。除了持续监测以补充临床访视的可能性外，在自由生活条件下进行的研究还可以推断社交特征，例如与抑郁症有关的二元互动频率。我们采用了说话人计数估计作为二元交互检测器，在DIHARD数据集中的特异性为89.5%，灵敏度为86.1%。使用该检测器，我们获得了语音定时功能，从检测到的二元互动在多天的音频记录的32名参与者，包括13名健康人，11名抑郁症患者，和8名精神病患者。在没有或轻度抑郁的参与者中，二元交互频率随着抑郁的严重程度而增加，这表明抑郁发作的潜在诊断标志。然而，随着抑郁严重程度的增加，中度或重度抑郁症的参与者的二元互动频率下降。在言语时间特征方面，响应时间与抑郁严重程度呈显著正相关。我们的工作显示了从自由生活的录音中进行二元互动分析以获得抑郁症严重程度的标记的潜力。
2022-09-08 cs.AI cs.SD eess.AS
Optimizing Multi-Stuttered Speech Classification: Leveraging Whisper's Encoder for Efficient Parameter Reduction in Automated Assessment
School of Electrical Engineering and Computer Science (SEECS)（电气工程与计算机科学学院（SEECS））；National University of Sciences and Technology (NUST)（国家科技大学（NUST））
本研究利用Whisper编码器进行多标签分类，通过层冻结策略仅微调单层，将可训练参数减少83.7%，在Fluency-Bank上实现高F1分数，高效识别多口吃语音。
2025-02-26 cs.LG cs.SD eess.AS
Universal Preference-Score-based Pairwise Speech Quality Assessment
National Engineering Research Center of Speech and Language Information Processing University of Science and Technology of China（语音与语言信息处理国家工程研究中心 中国科学技术大学）
本文提出UPPSQA模型，通过分别预测两个语音样本的MOS并用偏好函数聚合为偏好分数，实现成对语音质量评估，并构建新数据集验证其在多种训练和测试场景下优于基线模型的通用性。
2025-06-02 cs.SD eess.AS
Exploring Gender-Specific Speech Patterns in Automatic Suicide Risk Assessment
University of Augsburg（奥格斯堡大学）；TU Munich（慕尼黑工业大学）；District Hospital Augsburg（奥格斯堡地区医院）；German Center for Mental Health（德国心理健康中心）；Imperial College（帝国理工学院）
本研究提出基于语音的自动自杀风险评估方法，利用20名患者录音和性别专属建模，以81%平衡准确率区分自杀风险，并发现语音特征与风险关系存在性别差异。
2024-06-26 cs.CL cs.LG cs.SD
A Multi-modal Approach to Dysarthria Detection and Severity Assessment Using Speech and Text Information
Speech Processing Laboratory, LTRC IIIT Hyderabad, India（国际信息科技研究所-海得拉巴语音处理实验室）；Samsung Research & Development Institute-Bengaluru, India（三星研发研究所-班加罗尔）
本研究提出一种基于交叉注意力机制融合语音与文本模态的多模态方法，通过学习声学与语言学相似性评估发音偏差，显著提升了构音障碍检测与严重程度评估的准确率。
2025-04-26 cs.AI eess.AS
EventTrojan: Manipulating Non-Intrusive Speech Quality Assessment via Imperceptible Events
Faculty of Electrical Engineering and Computer Science, Ningbo University（宁波大学电气工程与计算机科学学院）；Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）计算算力网络与信息安全教育部重点实验室）；Juphoon System Software Co., Ltd（中科创达软件股份有限公司）
针对NISQA场景现有后门攻击不适配、回归任务后门攻击缺客观指标的问题，提出以使用事件为触发器的EventTrojan方法及对应指标，经多数据集验证有效且抗多种防御。
2024-09-11 cs.AI cs.SD eess.AS
CogniVoice: Multimodal and Multilingual Fusion Networks for Mild Cognitive Impairment Assessment from Spontaneous Speech
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
CogniVoice提出一种基于专家乘积的多模态多语言融合网络，通过分析语音和文本转录检测轻度认知障碍并估计MMSE分数，在TAUKADIAL挑战数据集上超越基线，并缩小跨语言性能差距。
2024-07-18 cs.LG cs.SD eess.AS
Towards Automated Assessment of Stuttering and Stuttering Therapy
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；Institut der Kasseler Stottertherapie（卡塞尔口吃治疗研究所）
口吃是一种复杂的言语障碍，可以通过说话时的重复，声音，音节或单词的重复以及块来识别。严重程度评估通常由语言治疗师完成。虽然尝试了自动评估，但很少用于治疗。评估口吃严重程度的常用方法包括口吃音节百分比（% SS），言语任务中三个最长口吃症状的平均值，或最近引入的言语效率评分（SES）。本文介绍了一种评价口吃严重程度的新方法--言语控制指数（SCI）。与SES不同，它还可以用于评估流畅性塑造的治疗成功率。我们评估SES和SCI的一个新的全面标记的数据集，包含客户口吃的德语演讲之前，期间和之后进行口吃治疗。自动语音识别系统的音素对齐根据其与标记的口吃事件的相对位置进行统计评估。结果表明，音素长度分布不同，就其位置和周围的标记口吃事件
2020-06-16 cs.CL cs.LG cs.SD
Suicide Risk Assessment Using Multimodal Speech Features: A Study on the SW1 Challenge Dataset
LaTIMUMR INSERM 1101；Université de Bretagne Occidentale（布列塔尼西部大学）；INSERMFrance（国家健康与医学研究院）
本研究针对语音健康挑战赛，提出融合WhisperX转录、中文RoBERTa和WavLM嵌入及手工声学特征的多模态方法，比较三种融合策略，发现加权注意力在开发集上达69%准确率，并强调改进嵌入与融合机制以提升分类可靠性。
2025-05-19 cs.CL cs.LG cs.SD
