Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases
Google Research(谷歌研究院);MGH Institute of Health Professions(麻省总医院健康职业学院);Harvard University(哈佛大学)
语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本,以教授ASR系统有关受损语音的各种表现。在这里,我们开发并比较了不同的深度学习技术,以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本,这些说话者说了29个单词或短语,这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后,我们评估了使用3种方法开发的分类器:(1)为任务训练的卷积神经网络(CNN),(2)使用无监督目标的CNN的非语义语音表示训练的分类器[1],以及(3)来自典型语音训练的ASR系统的声学(编码器)嵌入训练的分类器[2]。我们发现,ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明,ASR嵌入聚类语音的口语短语,而非语义嵌入聚类语音的说话人。此外,较长的短语比单个单词更能说明可理解性缺陷。
2021-07-08 cs.LG cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S(RTX公司);Aalborg University(奥尔堡大学)
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近,它已被证明,这个问题的最佳解决方案,需要考虑在两个环境中的噪声源联合。然而,现有的基于最佳互信息的方法需要一个复杂的系统模型,包括自然语音变化,并依赖于近似和假设的基础信号分布。在本文中,我们建议使用一个更简单的信号模型,并优化语音清晰度的近似语音清晰度指数(ASII)的基础上。我们推导出一个封闭形式的解决方案的联合远,近端语音增强的问题,是独立的信号系数的边缘分布,并达到类似的性能,现有的工作。此外,我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而,标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度(即,更高的严重性使其本身更难理解)。为了解决这个问题,我们提出了一种新的声学模型的基础上的混合专家(MoE),它处理不同的可懂度阶段,目前在失语症的语音明确定义的严重程度为基础的专家。在测试时,每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器(SID)。我们表明,我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比,基线方法,不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);Academia Sinica(中央研究院)
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中,我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失,其约束条件是在修改之前和之后保持语音信号的均方根(RMS)水平和持续时间。具体来说,我们利用iMetricGAN方法来优化生成对抗网络(GANs)的语音可懂度指标。实验结果表明,所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施,即,在食堂噪声条件下,以比特为单位的语音可懂度(SIIB)和扩展的短时客观可懂度(ESTOI)。此外,正式的听力测试显示显着的清晰度增益时,噪音和混响存在。
2020-04-07 cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出结合不确定性量化的改进GoP方法,通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能,在英语、韩语和泰米尔语上均优于基线,并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Assessing the intelligibility of vocoded speech using a remote testing framework
Duke University(杜克大学)
在过去一年,由于COVID-19疫情期间需要物理距离,远程语音清晰度测试已成为传统面对面实验的流行和必要替代方案。开发了一个远程框架,用于对正常听力的听众进行语音清晰度测试。在这项研究中,受试者使用他们的个人电脑完成句子识别任务在消声和混响的听力环境。使用此远程框架获得的结果与先前收集的实验室结果进行了比较,并显示远程研究参与者的语音清晰度高于在实验室完成测试的受试者。
2021-05-28 cs.SD eess.AS
STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
大多数客观的语音清晰度评估指标的计算需要干净的语音作为参考。这种要求可能会限制这些指标在现实世界场景中的适用性。为了克服这一限制,我们提出了一种基于深度学习的非侵入式语音可懂度评估模型,即STOI-Net。STOI-Net的输入和输出分别是语音频谱特征和预测的STOI分数。该模型是由一个卷积神经网络和双向长短期记忆(CNN-BLSTM)架构与乘法注意力机制的组合。实验结果表明,由STOI-Net估计的STOI分数与实际的STOI分数有很好的相关性时,测试与噪声和增强的语音话语。相关值分别为0.97和0.83,对于可见的测试条件(测试扬声器和噪声类型涉及训练集)和不可见的测试条件(测试扬声器和噪声类型不涉及训练集)。结果证实了STOI-Net在不参考干净语音的情况下准确预测STOI分数的能力。
2020-11-09 cs.LG cs.SD eess.AS
Vocal effort modeling in neural TTS for improving the intelligibility of synthetic speech in noise
Apple(苹果公司(Apple))
我们提出了一种神经文本到语音(TTS)的方法,模型自然的声音努力的变化,以提高在噪声存在下的合成语音的可懂度。该方法包括首先测量未标记的传统语音数据的频谱倾斜,然后用归一化的频谱倾斜以及其他韵律因素来调节神经TTS模型。改变频谱倾斜参数并保持其他韵律因素不变使得能够在合成时独立于其他韵律因素有效地控制发声努力。通过将频谱倾斜值外推到原始数据之外,我们可以生成具有高声音努力水平的语音,从而在存在掩蔽噪声的情况下提高语音的可懂度。我们评估的清晰度和质量的正常语音和语音增加的声音努力在各种掩蔽噪声条件下的存在,并比较这些知名的语音清晰度增强算法。实验结果表明,该方法在保证语音质量的前提下,提高了合成语音的可懂度。
2022-03-29 cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University(台湾大学);Institute of Linguistics, Academia Sinica(中央研究院语言学研究所)
言语感知是言语交际的关键。对于听力损失的人来说,识别语音的能力受到限制,特别是在嘈杂的环境中或没有视觉线索的情况下,例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法:语音增强(SE)和视听整合来了解人工耳蜗(CI)模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络(FCN),它使用一个面向可懂度的目标函数,并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外,据报道,视听整合提供更好的语音理解相比,只有音频信息。本研究以一组听力正常的受试者为实验对象,利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外,它积极建议这两种方法可以成为CI处理器中的混合功能,以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
MTI-Net: A Multi-Target Speech Intelligibility Prediction Model
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Microsoft Corporation(微软公司);Southern University of Science and Technology of China(南方科技大学)
近年来,基于深度学习(DL)的非侵入式语音评估模型引起了人们的极大关注。许多研究报告说,这些基于DL的模型产生令人满意的评估性能和良好的灵活性,但他们在看不见的环境中的性能仍然是一个挑战。此外,与质量分数相比,很少有研究详细阐述深度学习模型来估计可懂度分数。本研究提出了一个多任务语音清晰度预测模型,称为MTI-Net,同时预测人类和机器的清晰度措施。具体而言,给定一个语音话语,MTI-Net被设计用于预测人类主观听力测试结果和单词错误率(WER)分数。我们还研究了几种可以提高MTI-Net预测性能的方法。首先,我们比较了MTI-Net的不同特征(包括低级特征和自监督学习(SSL)模型的嵌入)和预测目标。其次,我们探讨了迁移学习和多任务学习对训练MTI-Net的影响。最后,我们研究了微调SSL嵌入的潜在优势。实验结果证明了使用跨域特征、多任务学习和微调SSL嵌入的有效性。此外,它被证实,MTI-Net预测的可懂度和WER分数与地面实况分数高度相关。
2022-08-31 cs.LG cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
大多数基于深度神经网络(DNN)的语音增强算法依赖于短时谱幅度(STSA)的均方误差(MSE)准则,其与人类感知(例如语音可懂度)没有明显的联系。另一方面,短时客观可懂度(STOI)是一种流行的最先进的语音可懂度估计器,它依赖于语音时间包络的线性相关。这就提出了一个问题,与基于STSA-MSE标准的算法相比,基于包络线性相关(ELC)的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中,我们推导出,在一定的一般条件下,STSA-MSE和ELC准则实际上是等价的,我们提供的经验数据来支持我们的理论结果。此外,我们的实验结果表明,标准的STSA最小MSE估计是接近最佳的,如果目标是提高嘈杂的语音的方式,这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
An Attention Long Short-Term Memory based system for automatic classification of speech intelligibility
Universidad Carlos III de Madrid(卡洛斯三世大学)
本研究提出一种基于注意力LSTM和非侵入式方法的语音可懂度自动分类系统,利用对数梅尔频谱图特征,在UA-Speech数据库上优于SVM和均值池化LSTM基线。
2024-02-05 cs.LG cs.SD eess.AS
Objective Evaluation of Prosody and Intelligibility in Speech Synthesis via Conditional Prediction of Discrete Tokens
Center for Language and Speech Processing (CLSP), Johns Hopkins University(语言与语音处理中心(CLSP),约翰·霍普金斯大学);National University of Singapore(新加坡国立大学)
本文提出TTScore,一种基于条件预测离散语音令牌的无参考评估框架,用于更准确地评估语音合成的语调和可懂性。
2026-01-19 cs.LG cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield(谢菲尔德大学)
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而,这些手工挑选的声学特征通常与识别没有明确的相关性。同时,基于深度神经网络(DNN)的自动语音识别器(ASR)在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明,该方法比目前广泛使用的基于短时客观可懂度(STOI)的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Speech foundation models on intelligibility prediction for hearing-impaired listeners
Institute of Convergence ILCB(ILCB融合研究所);Aix-Marseille University(艾克斯-马赛大学)
针对语音感知领域SFM应用探索不足的问题,本文系统评估10种语音基础模型在听障听众语音可懂度预测任务上的表现,提出冻结SFM加轻量预测头的方法,在CPC2挑战赛中夺冠。
2024-01-24 cs.LG cs.SD eess.AS
Speech Intelligibility Classifiers from 550k Disordered Speech Samples
Google Research(谷歌研究院);MGH Institute of Health Professions(麻省总医院健康职业学院);Harvard University(哈佛大学)
我们开发了构音障碍语音清晰度分类器,用于分析由468名不同说话者组成的551,176个无序语音样本,这些样本具有一系列自我报告的说话障碍,并在五点量表上对其整体清晰度进行评级。我们按照不同的深度学习方法训练了三个模型,并在来自100名说话者的约94 K话语上对其进行了评估。我们进一步发现模型在TORGO数据库(100%准确率),UASpeech(0.93相关性),ALS-TDI PMP(0.81 AUC)数据集以及我们收集的真实自发语音数据集(106名构音障碍者和76名对照说话者,约2300个样本)上泛化良好(无需进一步训练)。
2023-03-15 cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室)
本文将自监督语音表征用于非侵入式听障语音可懂度预测,在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能,并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);Waseda University(早稻田大学)
在大多数实际应用中,广播系统必须在噪声环境中传递语音信息,而在这种环境中,背景噪声是无法消除的。本地噪声降低了语音的可懂度,增加了收听者的收听努力,从而影响了广播系统的有效性。有报道指出,在嘈杂的环境中,专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明,语音清晰度可能与专业播音员的说话风格有关,可以通过语音转换方法进行调整。基于这一思想,本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势,我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实,在低信噪比条件下,转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering(军事工程学院)
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法,以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声,在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线,从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果,在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University(和歌山大学);NTT Communication Science Laboratories(NTT通信科学基础研究所)
在这项研究中,我们提出了一个新的概念,伽玛包络失真指数(GEDI)的基础上的信号失真比在听觉包络,SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析(MR-GEDI)预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较,为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明,在粉红噪声条件下,mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度(STOI)、扩展STOI(ESTOI)和助听器言语感知指数(HASPI),在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势,被认为是比STOI和ESTOI更保守的方法。因此,使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Southern University of Science and Technology(南方科技大学)
本文提出 MBI-Net+,通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标,在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线,提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
Towards Intelligibility-Oriented Audio-Visual Speech Enhancement
Edinburgh Napier University(爱丁堡龙比亚大学)
现有的基于深度学习(DL)的语音增强方法通常被优化以最小化干净语音特征与增强语音特征之间的距离。这些通常导致改善的语音质量,但是它们缺乏概括性,并且在实际嘈杂的情况下可能无法提供所需的语音清晰度。为了应对这些挑战,研究人员已经探索了面向可懂度(I-O)的损失函数和视听(AV)信息的整合,以实现更鲁棒的语音增强(SE)。在本文中,我们介绍了基于DL的I-O SE算法利用AV信息,这是一个新的和以前未探索的研究方向。具体来说,我们提出了一个完全卷积的AV SE模型,该模型使用修改后的短时客观可懂度(STOI)度量作为训练成本函数。据我们所知,这是第一项利用AV模态与基于I-O的SE损失函数的集成的工作。比较实验结果表明,我们提出的I-O AV SE框架优于音频(AO)和AV模型训练与传统的基于距离的损失函数,在标准的客观评价措施,当处理看不见的扬声器和噪声。
2021-11-18 cs.CV cs.LG cs.SD
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
电声联合刺激(EAS)已被证明比传统人工耳蜗(CI)更好的语音识别,并在安静条件下产生令人满意的性能。然而,当涉及噪声信号时,电信号和声信号都可能失真,从而导致差的识别性能。为了抑制噪声影响,语音增强(SE)是EAS设备中的必要单元。近年来,基于短时客观可懂度(STOI)目标函数的全卷积神经网络(FCN)的时域语音增强算法(简称FCN(S))因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN(S)对正常语音的好处,本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试,研究了FCN(S)在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明,与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比,FCN(S)算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究,证实了FCN(S)是一种有效的SE方法,可以集成到EAS处理器中,使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics(国立情报学研究所);SOKENDAI(综合研究大学院大学)
在环境噪声和混响的存在下,语音的可懂度严重降低。在本文中,我们提出了一种新的基于深度学习的系统,用于修改语音信号以在等功率约束下提高其可懂度,即,修改前后的信号功率必须相同。为了实现这一点,我们使用生成对抗网络(GANs)来获得时频相关的放大因子,然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络(DNN)模型,以同时优化多个高级语音指标,而不是只优化一个简单的指标,包括与清晰度和质量相关的指标,从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放,但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明,该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University(奥尔堡大学)
在本文中,我们提出了一种基于深度神经网络(DNN)的语音增强(SE)系统,该系统旨在最大限度地提高短时客观可懂度(STOI)测量的近似值。我们形式化了一个近似的STOI成本函数,并推导出DNN训练所需梯度的解析表达式,并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明,所提出的SE系统实现了很大的改善,估计语音清晰度,匹配和不匹配的自然噪声类型,在多个信号噪声比进行测试时。此外,我们表明,SE系统,当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后,我们表明,所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度(STSA)SE系统表现相当。这些结果很重要,因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield(谢菲尔德大学)
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统,仅用模拟含噪语音预训练,在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
A Perception-Based L2 Speech Intelligibility Indicator: Leveraging a Rater's Shadowing and Sequence-to-sequence Voice Conversion
The University of Tokyo(东京大学);Graduate School of Engineering(工学研究科)
本文提出一种基于感知的L2语音可懂度指示器,利用母语评分者跟读数据与序列到序列语音转换框架,结合对齐机制和声学特征重建模拟听觉感知,客观与主观评估表明其比传统基于ASR的指标更贴近人类判断,为CALL系统提供新方向。
2025-05-30 cs.SD eess.AS
Optimization of a Real-Time Wavelet-Based Algorithm for Improving Speech Intelligibility
Hong Kong University of Science and Technology(香港科技大学)
一个基于小波的算法,以提高语音清晰度的优化与完整的数据集和结果的报告。通过多级离散小波变换将离散时间语音信号分成频率子带。在子带信号被重新组合以形成语音的修改版本之前,将各种增益应用于子带信号。在保持整体信号能量不变的情况下调整子带增益,增强各种背景干扰和模拟听力损失条件下的语音清晰度,并使用Google Speech-to-Text转录进行客观定量的评估。一组通用的子带增益可以在高达4.8 dB的信噪比范围内工作。对于无噪声语音,整体清晰度得到提高,通过将频谱能量重新分配到中频子带,Google转录准确度平均提高了16.9个百分点,最高提高了86.7个百分点。对于已经被噪声破坏的语音,提高清晰度是一项挑战,但仍然可以实现,平均转录准确率提高9.5个百分点,最高可达71.4个百分点。该算法可实现实时的【形】语音处理,并且比以前的算法简单。潜在的应用包括语音增强、助听器、机器听力和更好地理解语音清晰度。
2022-07-21 cs.CL cs.SD eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete(克里特大学);Chania General Hospital(干尼亚综合医院)
在这项工作中,我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩(SSDRC)的基础上,被称为基于WaveNet的SSDRC(wSSDRC),使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发,并提供了应用神经语音增强模型,并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中,我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下,相等的能量前后修改。听力正常(NH)和听力受损(HI)的听众在语音成形噪声(SSN)下以与他们的语音接收阈值(SRT)匹配的特定于听众的SNR评估模型,在该点处,50%的未修改语音是可理解的。分析统计数据表明,wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI,相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
Disentangled Latent Speech Representation for Automatic Pathological Intelligibility Assessment
Ludwig-Maximilians University(路德维希-马克西米利安大学)
语言清晰度评估在病理性语言障碍患者的治疗中起着重要的作用。自动和客观的措施是可取的,以协助治疗师在其传统的主观和劳动密集型的评估。在这项工作中,我们研究了一种新的方法来获得这样一个措施,使用的分歧解开潜在的语音表示的平行话语对,从一个健康的参考和病理扬声器。在脑瘫患者的英语数据库上进行的实验,使用每个说话者的所有可用话语,显示出与主观可懂度测量的高且显著的相关值(R = -0.9),而在四个不同的参考说话者对之间仅具有最小的偏差(± 0.01)。我们还证明了所提出的方法的鲁棒性(R = -0.89偏差+-0.02超过1000次迭代),考虑每个扬声器的话语量显着减少。我们的研究结果是第一个表明,解开的语音表示可以用于自动病理语音可懂度评估,从而在一个参考扬声器对不变的方法,适用于只有几个可用的话语的情况。
2022-06-27 cs.CL cs.LG cs.SD
Generative Models for Improved Naturalness, Intelligibility, and Voicing of Whispered Speech
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学);Intel Labs(英特尔实验室)
这项工作适应了两个最近的架构生成模型,并评估其有效性转换的耳语音正常语音。我们将正常目标语音纳入矢量量化变分自编码器(VQ-VAE)和MelGAN的训练标准中,从而调节系统从耳声输入中恢复有声语音。客观和主观质量测量表明,VQ-VAE和MelGAN都可以修改以执行转换任务。我们发现,所提出的方法显着改善梅尔倒谱系数失真(MCD)度量至少25%相对于DiscoGAN基线。主观听力测试表明,与耳声输入语音相比,基于MelGAN的系统显着提高了自然度,可懂度和语音。一种基于潜在语音表示之间差异的新评估措施也表明,我们基于MelGAN的方法相对于基线有所改进。
2023-01-30 cs.SD eess.AS
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University(卡内基梅隆大学);Arizona State University(亚利桑那州立大学)
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架,以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
Crowdsourced Multilingual Speech Intelligibility Testing
Cisco Systems, Inc.(思科系统公司)
针对现有语音清晰度测试的局限,本文提出众包式评估方法,公开多语种语音数据并开展早期实验,为相关研究提供支持。
2026-08-05 cs.AI cs.SD eess.AS
A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习(DL)的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量,但它们缺乏概括性,在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战,研究人员已经探索了面向可懂度(I-O)的损失函数,以训练DL方法来实现鲁棒的语音增强(SE)。为了更有效地训练深度学习算法,我们提出了一种新的基于典型相关性的I-O损失函数。具体来说,我们提出了一个完全卷积SE模型,使用修改后的基于典型相关的短期客观可懂度(CC-STOI)度量作为训练代价函数。据我们所知,这是第一个工作,利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明,我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型,在处理看不见的扬声器和噪声时,在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
Intelligibility of Speech in Noise: Investigating Contribution of Magnitude and Phase Spectra
Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA(美国南加州大学信号分析与解释实验室);National Institute of Technology, Patna, India(印度帕坦国家理工学院);Indian Institute of Technology, Jammu, India(印度朱默尔理工学院);Koneru Lakshmaiah Education Foundation, Vaddeswaram, Guntur District, Andhra Pradesh, India(安得拉邦戈塔瓦德区瓦达萨瓦拉姆康纳鲁拉克希玛伊教育基金会)
通过三个实验评估幅度谱和相位谱对噪声中辅音可懂度的贡献,发现幅度谱在干净条件下贡献更大,而相位谱在噪声条件下更鲁棒,且鼻音比擦音和近音更易受噪声影响。
2026-06-17 cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.(Orka实验室有限公司);Stanford University(斯坦福大学)
本文提出SSIPNet,利用听者已有的少量(音频,评分)对构建高维能力表示,在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Condition-Invariant fMRI Decoding of Speech Intelligibility with Deep State Space Model
1Academia Sinica, Taiwan 2Keio University, Japan 3Graduate Institute of Communication Engineering, National Taiwan University, Taiwan 4Taiwan International Graduate Program in Interdisciplinary Neuroscience, National Taiwan University, Taiwan
提出基于深度状态空间模型的新架构从fMRI解码语音可懂度,首次实现跨声学条件解码,证实存在条件不变的神经编码。
2025-10-21 cs.LG cs.SD eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering(军事工程学院)
本文提出了一种新的盲声掩模(BAM)设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息,以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外,该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法,理想的二进制掩码(IBM),目标二进制掩码(TBM),和非平稳噪声估计语音增强(NNESE),考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比(SNR)进行评估。结果表明,BAM技术实现可懂度增益与理想的面具,同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Comparison of remote experiments using crowdsourcing and laboratory experiments on speech intelligibility
Wakayama University(和歌山大学);NTT Communication Science Laboratories(日本电信电话通信科学实验室)
已经进行了许多主观实验来开发客观的语音清晰度测量,但新型冠状病毒的爆发使得在实验室中进行实验变得非常困难。一种解决方案是使用众包进行远程测试;然而,由于我们无法控制收听条件,因此尚不清楚结果是否完全可靠。在这项研究中,我们比较了远程和实验室实验中获得的语音清晰度分数。结果表明,远程实验的言语接收阈值(SRT)的均值和标准差(SD)均高于实验室实验。然而,在整个语音增强条件下的SRT的方差显示出相似性,这意味着远程测试结果可能与实验室实验一样有用,以制定客观的措施。我们还表明,练习会话分数与SRT值相关。这是在进行主要测试之前的先验信息,并且对于数据筛选以减少SRT分布的变异性是有用的。
2021-04-17 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan(CyberAgent日本)
针对听障听众的双耳语音可懂度预测,提出用Mamba替代Transformer进行时间处理,在保持参数较少的同时达到竞争性能,并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
Harmonic Detection from Noisy Speech with Auditory Frame Gain for Intelligibility Enhancement
Military Institute of Engineering (IME)(军事工程学院)
提出 HDAG 方法,利用选择性 Gammachirp 滤波、HHT-Amp 基频估计及 FSFFE 分类增益调节增强噪声语音谐波,实验与听测均显示其可懂度提升优于三种基线方法。
2024-01-22 cs.SD eess.AS
Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models
IIIT Hyderabad(印度信息技术与通信技术研究院海得拉巴分校);TCS Research(塔塔咨询服务研究中心)
本文提出一种利用自监督和Seq2Seq学习模拟真实语音的新方法,显著提升了NAM到语音转换的可懂度,在MCD指标上超越SOTA 29.08%,并以42.57%的WER为扩充后的语料库设定了基准。
2024-07-26 cs.AI cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University(奥尔堡大学);GN Hearing(GN听力公司)
在诸如鸡尾酒会场景的情况下,听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中,我们提出了一个双耳语音增强框架,考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器,使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器(STP)参数以及干净语音音调参数。在这项工作中,提出了一种基于双耳码本的方法来估计STP参数,并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息,导致滤波器参数的更鲁棒的估计。客观的措施,如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试,以评估清晰度和质量改善方面的性能。听力测试表明,该算法,即使只有一个通道的噪声观察,显着提高整体语音质量,和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
Predicting speech intelligibility from EEG in a non-linear classification paradigm
KU Leuven(鲁汶大学)
目的:目前,只有行为言语理解测试,这需要被测者的积极参与。由于这对某些人群是不可行的,因此需要对语音清晰度进行客观测量。最近,脑成像数据已被用于建立刺激和大脑反应之间的关系。线性模型已经成功地与语音清晰度联系起来,但需要每个主题的训练。我们提出了一个基于深度学习的模型,该模型结合了在匹配/不匹配范式中运行的扩张卷积。模型的匹配/不匹配预测的准确性可以用作语音清晰度的代理,而无需特定于主题的(重新)训练。方法:我们评估了该模型的性能作为输入段长度,EEG频段和感受野大小的函数,同时将其与多个基线模型进行比较。接下来,我们评估了保留数据和微调的性能。最后,我们在模型的准确性和最先进的行为矩阵测试之间建立了联系。主要结果:对于每个输入段长度、除delta和theta带外的所有EEG频段以及250至500 ms之间的感受野大小,扩张卷积模型的性能均显著优于基线模型。此外,微调显著提高了保留数据集的准确性。最后,一个显着的相关性(r=0.59,p=0.0154)被发现之间的言语接收阈值估计使用的行为矩阵测试和我们的客观方法。重要性:我们的方法是第一个预测的语音接收阈值从EEG看不见的主题,有助于语音清晰度的客观措施。
2021-10-25 cs.LG cs.SD eess.AS
An ASR Guided Speech Intelligibility Measure for TTS Model Selection
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)(Zapr媒体实验室(红砖巷营销解决方案私人有限公司))
神经文本到语音(TTS)的感知质量高度依赖于训练过程中模型的选择。使用训练目标度量(如最小均方误差)选择模型并不总是与人类感知相关。在本文中,我们提出了一个客观的度量的基础上的电话出错率(PER)选择TTS模型与最佳的语音可懂度。在TTS模型的输入文本与使用自动语音识别(ASR)模型从合成语音解码的文本之间计算PER,ASR模型在与TTS模型相同的数据上训练。与主观研究的帮助下,我们表明,选择的TTS模型与最小的PER验证分裂有显着更高的语音清晰度相比,最少的训练目标度量损失的模型。最后,使用建议的PER和主观评价,我们表明,最佳TTS模型的选择取决于体裁的目标领域的文本。我们所有的实验都在印地语数据集上进行。然而,所提出的模型选择方法是语言无关的。
2020-06-02 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University(信息科学与工程学院,山东大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题,提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架,在多基准上优于现有基线,兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo(东京大学);Japan National Institute of Advanced Industrial Science and Technology (AIST)(日本国家工业科学与技术研究院);Japan Kyoto University(京都大学)
本研究通过分析离散词元ASR,验证了中介语语音可懂度优势,提出仅用母语数据即可实现口音鲁棒识别,适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Minimum Processing Near-end Listening Enhancement
RTX A/S(RTX A/S公司);Aalborg University(奥尔堡大学)
本文提出一种最小处理的近端听音增强方法,在满足可懂度约束下以均方误差为处理代价,通过简单增益规则自适应噪声条件,在保证可懂度的同时减少语音失真并提升质量。
2023-05-30 cs.SD eess.AS eess.SP
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited(塔塔咨询服务公司);TCS Research and Innovation(TCS研究与创新部门)
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响,还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单(a)患者接受和(b)临床医生解释,则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展,该系统要求患者说出大量的话语。在本文中,我们提出了(a)一个成本最小化的程序,以选择一个最佳的(小)数量的话语,需要由构音障碍患者,(b)四个不同的扬声器独立的可理解性评估系统,需要患者说少量的话,和(c)的评估分数是接近的感知分数,语音语言病理学家(SLP)可以涉及。从可用性的角度来看,患者需要说出少量的话语,并且评分与SLP相关,这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering(Spring实验室,电气工程系)
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法,利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音,以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.(Orka Labs 公司);Stanford University(斯坦福大学)
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式,发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
Effective data screening technique for crowdsourced speech intelligibility experiments: Evaluation with IRM-based speech enhancement
本研究通过音调脉冲测试筛选众包数据,评估IRM增强语音的可懂度,减少远程测试变异,使结果接近实验室,并确定掩蔽式单通道增强的上限。
2022-08-20 cs.SD eess.AS
DeepGESI: A Non-Intrusive Objective Evaluation Model for Predicting Speech Intelligibility in Hearing-Impaired Listeners
Wakayama University(白川大学)
DeepGESI是一种非侵入式深度学习模型,可高效预测听力受损听众的语音可懂性,无需参考语音,且预测速度快。
2025-12-22 cs.SD
Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations
Language Technologies Research Center(语言技术研究中心)
针对有监督语音可懂度检测依赖人工标注、扩展性差的问题,提出基于Wav2Vec-2.0自监督表征与DTW对齐距离的无监督方法,三种距离度量下准确率最高达96.58%。
2023-06-15 cs.AI cs.SD eess.AS