French Listening Tests for the Assessment of Intelligibility, Quality, and Identity of Body-Conducted Speech Enhancement
本研究通过法语听力测试评估EBEN模型在骨导语音中的表现，证实其能提升语音质量与可懂度，并揭示了STOI与感知质量的相关性及现有指标在预测可懂度上的局限性。
2025-06-04 eess.AS
TorchAudio-Squim: Reference-less Speech Quality and Intelligibility measures in TorchAudio
本文介绍了TorchAudio-Squim工具，利用深度神经网络以无参考方式估计语音的客观和主观质量指标，为语音处理研究提供便捷的评估手段。
2023-04-04 eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
F0-based Gammatone Filtering for Intelligibility Gain of Acoustic Noisy Signals
本文提出了一种时域方法，以提高语音清晰度在嘈杂的情况下。在该方法中，采用一系列的伽玛通滤波器来检测语音的谐波成分。滤波器输出经过放大以强调第一谐波，从而减少声学噪声的掩蔽效应。建议GTFF 0解决方案和两个基线技术进行检查，考虑四个背景噪声具有不同的非平稳度。采用ESTOI、ESII和ASIIST三种可懂度指标进行客观评价。实验结果表明，该方案导致表达语音可懂度增益相比，竞争的方法。此外，PESQ和WSS的客观分数表明，所提出的技术也提供了有趣的质量改进。
2020-12-15 eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S（RTX公司）；Aalborg University（奥尔堡大学）
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近，它已被证明，这个问题的最佳解决方案，需要考虑在两个环境中的噪声源联合。然而，现有的基于最佳互信息的方法需要一个复杂的系统模型，包括自然语音变化，并依赖于近似和假设的基础信号分布。在本文中，我们建议使用一个更简单的信号模型，并优化语音清晰度的近似语音清晰度指数（ASII）的基础上。我们推导出一个封闭形式的解决方案的联合远，近端语音增强的问题，是独立的信号系数的边缘分布，并达到类似的性能，现有的工作。此外，我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而，标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度（即，更高的严重性使其本身更难理解）。为了解决这个问题，我们提出了一种新的声学模型的基础上的混合专家（MoE），它处理不同的可懂度阶段，目前在失语症的语音明确定义的严重程度为基础的专家。在测试时，每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器（SID）。我们表明，我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比，基线方法，不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
Modeling Multi-Level Hearing Loss for Speech Intelligibility Prediction
针对临床听力测定无法捕捉听力损失的频率与时间分辨率缺陷的问题，本研究提出一种模拟听觉退化、结合STM表示与NCC特征的Vision Transformer语音可懂度预测方法，在两类听力损失组上均优于HASPI v2基准。
2025-07-30 eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；Academia Sinica（中央研究院）
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中，我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失，其约束条件是在修改之前和之后保持语音信号的均方根（RMS）水平和持续时间。具体来说，我们利用iMetricGAN方法来优化生成对抗网络（GANs）的语音可懂度指标。实验结果表明，所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施，即，在食堂噪声条件下，以比特为单位的语音可懂度（SIIB）和扩展的短时客观可懂度（ESTOI）。此外，正式的听力测试显示显着的清晰度增益时，噪音和混响存在。
2020-04-07 cs.SD eess.AS
Assessing the intelligibility of vocoded speech using a remote testing framework
Duke University（杜克大学）
在过去一年，由于COVID-19疫情期间需要物理距离，远程语音清晰度测试已成为传统面对面实验的流行和必要替代方案。开发了一个远程框架，用于对正常听力的听众进行语音清晰度测试。在这项研究中，受试者使用他们的个人电脑完成句子识别任务在消声和混响的听力环境。使用此远程框架获得的结果与先前收集的实验室结果进行了比较，并显示远程研究参与者的语音清晰度高于在实验室完成测试的受试者。
2021-05-28 cs.SD eess.AS
Vocal effort modeling in neural TTS for improving the intelligibility of synthetic speech in noise
Apple（苹果公司(Apple)）
我们提出了一种神经文本到语音（TTS）的方法，模型自然的声音努力的变化，以提高在噪声存在下的合成语音的可懂度。该方法包括首先测量未标记的传统语音数据的频谱倾斜，然后用归一化的频谱倾斜以及其他韵律因素来调节神经TTS模型。改变频谱倾斜参数并保持其他韵律因素不变使得能够在合成时独立于其他韵律因素有效地控制发声努力。通过将频谱倾斜值外推到原始数据之外，我们可以生成具有高声音努力水平的语音，从而在存在掩蔽噪声的情况下提高语音的可懂度。我们评估的清晰度和质量的正常语音和语音增加的声音努力在各种掩蔽噪声条件下的存在，并比较这些知名的语音清晰度增强算法。实验结果表明，该方法在保证语音质量的前提下，提高了合成语音的可懂度。
2022-03-29 cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Predicting speech intelligibility in older adults for speech enhancement using the Gammachirp Envelope Similarity Index, GESI
本研究提出基于心理声学的客观可懂度度量GESI，结合伽马啁啾滤波器组等计算言语可懂度，经老年人日语词汇及英语句子实验验证，其预测准确度优于HASPIw2、与HASPIv2相当，同时指出TMTF相关测量与模型仍需完善。
2025-10-29 eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Speech Intelligibility Classifiers from 550k Disordered Speech Samples
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
我们开发了构音障碍语音清晰度分类器，用于分析由468名不同说话者组成的551，176个无序语音样本，这些样本具有一系列自我报告的说话障碍，并在五点量表上对其整体清晰度进行评级。我们按照不同的深度学习方法训练了三个模型，并在来自100名说话者的约94 K话语上对其进行了评估。我们进一步发现模型在TORGO数据库（100%准确率），UASpeech（0.93相关性），ALS-TDI PMP（0.81 AUC）数据集以及我们收集的真实自发语音数据集（106名构音障碍者和76名对照说话者，约2300个样本）上泛化良好（无需进一步训练）。
2023-03-15 cs.SD eess.AS
Relationship between objective and subjective perceptual measures of speech in individuals with head and neck cancer
Department of HNO（耳鼻喉科）
本研究探讨头颈癌患者客观与主观语音测度之间的关系，发现主观语音质量与客观测量存在强相关性，表明单一可懂性测量可用于临床监测。
2025-07-29 cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics（国立情报学研究所）；SOKENDAI（综合研究大学院大学）
在环境噪声和混响的存在下，语音的可懂度严重降低。在本文中，我们提出了一种新的基于深度学习的系统，用于修改语音信号以在等功率约束下提高其可懂度，即，修改前后的信号功率必须相同。为了实现这一点，我们使用生成对抗网络（GANs）来获得时频相关的放大因子，然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络（DNN）模型，以同时优化多个高级语音指标，而不是只优化一个简单的指标，包括与清晰度和质量相关的指标，从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放，但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明，该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Speech Reconstruction from Silent Tongue and Lip Articulation By Pseudo Target Generation and Domain Adversarial Training
本文提出基于伪目标生成与域对抗训练的迭代训练方法，从静默舌唇发音中重建语音，相比 TaLNet 基线显著提升可懂度与自然度，WER 降低超15%。
2023-04-12 eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
A Perception-Based L2 Speech Intelligibility Indicator: Leveraging a Rater's Shadowing and Sequence-to-sequence Voice Conversion
The University of Tokyo（东京大学）；Graduate School of Engineering（工学研究科）
本文提出一种基于感知的L2语音可懂度指示器，利用母语评分者跟读数据与序列到序列语音转换框架，结合对齐机制和声学特征重建模拟听觉感知，客观与主观评估表明其比传统基于ASR的指标更贴近人类判断，为CALL系统提供新方向。
2025-05-30 cs.SD eess.AS
Enhancing Speech Intelligibility in Text-To-Speech Synthesis using Speaking Style Conversion
University of Crete（克里特大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
数字助理的日益普及使得文本到语音（TTS）合成系统成为现代移动设备不可或缺的功能。因此，期望构建一种能够在存在噪声的情况下生成高度可理解的语音的系统。过去的研究探讨了TTS合成中的风格转换，但合成质量下降往往会导致更差的可懂度。为了克服这些限制，我们提出了一种新的迁移学习方法，使用Tacotron和基于WaveRNN的TTS合成。所提出的语音系统利用两种修改策略：（a）伦巴第说话风格的数据和（b）频谱整形和动态范围压缩（SSDRC），已被证明提供高清晰度增益，通过重新分配信号能量的时间-频率域。我们把这种扩展称为Lombard-SSDRC TTS系统。可懂度增强量化的位（SIIB-Gauss）措施表明，拟议的Lombard-SSDRC TTS系统显示出显着的相对改善110%和130%之间的语音成形噪声（SSN），和47%至140%的竞争扬声器噪声（CSN）对国家的最先进的TTS方法。额外的主观评价表明，Lombard-SSDRC TTS成功地提高了语音清晰度，与基线TTS方法相比，SSN和CSN的中位关键字校正率分别提高了455%和104%。
2020-08-13 cs.LG cs.SD eess.AS
Optimization of a Real-Time Wavelet-Based Algorithm for Improving Speech Intelligibility
Hong Kong University of Science and Technology（香港科技大学）
一个基于小波的算法，以提高语音清晰度的优化与完整的数据集和结果的报告。通过多级离散小波变换将离散时间语音信号分成频率子带。在子带信号被重新组合以形成语音的修改版本之前，将各种增益应用于子带信号。在保持整体信号能量不变的情况下调整子带增益，增强各种背景干扰和模拟听力损失条件下的语音清晰度，并使用Google Speech-to-Text转录进行客观定量的评估。一组通用的子带增益可以在高达4.8 dB的信噪比范围内工作。对于无噪声语音，整体清晰度得到提高，通过将频谱能量重新分配到中频子带，Google转录准确度平均提高了16.9个百分点，最高提高了86.7个百分点。对于已经被噪声破坏的语音，提高清晰度是一项挑战，但仍然可以实现，平均转录准确率提高9.5个百分点，最高可达71.4个百分点。该算法可实现实时的【形】语音处理，并且比以前的算法简单。潜在的应用包括语音增强、助听器、机器听力和更好地理解语音清晰度。
2022-07-21 cs.CL cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete（克里特大学）；Chania General Hospital（干尼亚综合医院）
在这项工作中，我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩（SSDRC）的基础上，被称为基于WaveNet的SSDRC（wSSDRC），使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发，并提供了应用神经语音增强模型，并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中，我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下，相等的能量前后修改。听力正常（NH）和听力受损（HI）的听众在语音成形噪声（SSN）下以与他们的语音接收阈值（SRT）匹配的特定于听众的SNR评估模型，在该点处，50%的未修改语音是可理解的。分析统计数据表明，wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI，相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
Generative Models for Improved Naturalness, Intelligibility, and Voicing of Whispered Speech
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
这项工作适应了两个最近的架构生成模型，并评估其有效性转换的耳语音正常语音。我们将正常目标语音纳入矢量量化变分自编码器（VQ-VAE）和MelGAN的训练标准中，从而调节系统从耳声输入中恢复有声语音。客观和主观质量测量表明，VQ-VAE和MelGAN都可以修改以执行转换任务。我们发现，所提出的方法显着改善梅尔倒谱系数失真（MCD）度量至少25%相对于DiscoGAN基线。主观听力测试表明，与耳声输入语音相比，基于MelGAN的系统显着提高了自然度，可懂度和语音。一种基于潜在语音表示之间差异的新评估措施也表明，我们基于MelGAN的方法相对于基线有所改进。
2023-01-30 cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Crowdsourced Multilingual Speech Intelligibility Testing
Cisco Systems, Inc.（思科系统公司）
针对现有语音清晰度测试的局限，本文提出众包式评估方法，公开多语种语音数据并开展早期实验，为相关研究提供支持。
2026-08-05 cs.AI cs.SD eess.AS
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架，以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习（DL）的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量，但它们缺乏概括性，在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数，以训练DL方法来实现鲁棒的语音增强（SE）。为了更有效地训练深度学习算法，我们提出了一种新的基于典型相关性的I-O损失函数。具体来说，我们提出了一个完全卷积SE模型，使用修改后的基于典型相关的短期客观可懂度（CC-STOI）度量作为训练代价函数。据我们所知，这是第一个工作，利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明，我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型，在处理看不见的扬声器和噪声时，在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
Intelligibility of Speech in Noise: Investigating Contribution of Magnitude and Phase Spectra
Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA（美国南加州大学信号分析与解释实验室）；National Institute of Technology, Patna, India（印度帕坦国家理工学院）；Indian Institute of Technology, Jammu, India（印度朱默尔理工学院）；Koneru Lakshmaiah Education Foundation, Vaddeswaram, Guntur District, Andhra Pradesh, India（安得拉邦戈塔瓦德区瓦达萨瓦拉姆康纳鲁拉克希玛伊教育基金会）
通过三个实验评估幅度谱和相位谱对噪声中辅音可懂度的贡献，发现幅度谱在干净条件下贡献更大，而相位谱在噪声条件下更鲁棒，且鼻音比擦音和近音更易受噪声影响。
2026-06-17 cs.SD eess.AS
Audio-Visual Feature Synchronization for Robust Speech Enhancement in Hearing Aids
本文提出一种轻量级交叉注意力音视频特征同步模型，用于助听器实时语音增强，在AVSEC3数据集上以36毫秒低延迟显著提升噪声抑制、语音可懂度和保真度。
2025-08-26 eess.AS
Leveraging Self-Supervised Audio-Visual Pretrained Models to Improve Vocoded Speech Intelligibility in Cochlear Implant Simulation
针对人工耳蜗仿真中训练数据有限的视听语音增强问题，提出融合 AV-HuBERT 与 BLSTM 的 SSL-AVSE 框架，显著提升客观语音质量、可懂度及动态噪声下表现。
2025-10-04 eess.AS
Binaural Speech Enhancement Using Deep Complex Convolutional Transformer Networks
针对嘈杂环境下助听设备的双耳语音增强需求，提出融合编码器-解码器架构复值卷积网络与复值多头注意力Transformer的方法，采用兼顾空间信息保留等的新型损失函数训练，在多种噪声场景下相比基线算法更优。
2024-03-08 eess.AS
Evaluation of an ITD-to-ILD Transformation as a Method to Restore the Spatial Benefit in Speech Intelligibility in Hearing Impaired Listeners
Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）；Delft University of Technology（代尔夫特理工大学）
本研究探讨了通过将低频ITDs转换为ILDs来恢复听力受损者语音可懂性空间益处的方法，实验表明该转换能有效改善语音接收阈值。
2025-11-26 eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering（军事工程学院）
本文提出了一种新的盲声掩模（BAM）设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息，以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外，该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法，理想的二进制掩码（IBM），目标二进制掩码（TBM），和非平稳噪声估计语音增强（NNESE），考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比（SNR）进行评估。结果表明，BAM技术实现可懂度增益与理想的面具，同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本，以教授ASR系统有关受损语音的各种表现。在这里，我们开发并比较了不同的深度学习技术，以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本，这些说话者说了29个单词或短语，这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后，我们评估了使用3种方法开发的分类器：（1）为任务训练的卷积神经网络（CNN），（2）使用无监督目标的CNN的非语义语音表示训练的分类器[1]，以及（3）来自典型语音训练的ASR系统的声学（编码器）嵌入训练的分类器[2]。我们发现，ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明，ASR嵌入聚类语音的口语短语，而非语义嵌入聚类语音的说话人。此外，较长的短语比单个单词更能说明可理解性缺陷。
2021-07-08 cs.LG cs.SD eess.AS
Comparison of remote experiments using crowdsourcing and laboratory experiments on speech intelligibility
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（日本电信电话通信科学实验室）
已经进行了许多主观实验来开发客观的语音清晰度测量，但新型冠状病毒的爆发使得在实验室中进行实验变得非常困难。一种解决方案是使用众包进行远程测试;然而，由于我们无法控制收听条件，因此尚不清楚结果是否完全可靠。在这项研究中，我们比较了远程和实验室实验中获得的语音清晰度分数。结果表明，远程实验的言语接收阈值（SRT）的均值和标准差（SD）均高于实验室实验。然而，在整个语音增强条件下的SRT的方差显示出相似性，这意味着远程测试结果可能与实验室实验一样有用，以制定客观的措施。我们还表明，练习会话分数与SRT值相关。这是在进行主要测试之前的先验信息，并且对于数据筛选以减少SRT分布的变异性是有用的。
2021-04-17 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan（CyberAgent日本）
针对听障听众的双耳语音可懂度预测，提出用Mamba替代Transformer进行时间处理，在保持参数较少的同时达到竞争性能，并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
Harmonic Detection from Noisy Speech with Auditory Frame Gain for Intelligibility Enhancement
Military Institute of Engineering (IME)（军事工程学院）
提出 HDAG 方法，利用选择性 Gammachirp 滤波、HHT-Amp 基频估计及 FSFFE 分类增益调节增强噪声语音谐波，实验与听测均显示其可懂度提升优于三种基线方法。
2024-01-22 cs.SD eess.AS
Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models
IIIT Hyderabad（印度信息技术与通信技术研究院海得拉巴分校）；TCS Research（塔塔咨询服务研究中心）
本文提出一种利用自监督和Seq2Seq学习模拟真实语音的新方法，显著提升了NAM到语音转换的可懂度，在MCD指标上超越SOTA 29.08%，并以42.57%的WER为扩充后的语料库设定了基准。
2024-07-26 cs.AI cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University（奥尔堡大学）；GN Hearing（GN听力公司）
在诸如鸡尾酒会场景的情况下，听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中，我们提出了一个双耳语音增强框架，考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器，使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器（STP）参数以及干净语音音调参数。在这项工作中，提出了一种基于双耳码本的方法来估计STP参数，并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息，导致滤波器参数的更鲁棒的估计。客观的措施，如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试，以评估清晰度和质量改善方面的性能。听力测试表明，该算法，即使只有一个通道的噪声观察，显着提高整体语音质量，和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
An ASR Guided Speech Intelligibility Measure for TTS Model Selection
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
神经文本到语音（TTS）的感知质量高度依赖于训练过程中模型的选择。使用训练目标度量（如最小均方误差）选择模型并不总是与人类感知相关。在本文中，我们提出了一个客观的度量的基础上的电话出错率（PER）选择TTS模型与最佳的语音可懂度。在TTS模型的输入文本与使用自动语音识别（ASR）模型从合成语音解码的文本之间计算PER，ASR模型在与TTS模型相同的数据上训练。与主观研究的帮助下，我们表明，选择的TTS模型与最小的PER验证分裂有显着更高的语音清晰度相比，最少的训练目标度量损失的模型。最后，使用建议的PER和主观评价，我们表明，最佳TTS模型的选择取决于体裁的目标领域的文本。我们所有的实验都在印地语数据集上进行。然而，所提出的模型选择方法是语言无关的。
2020-06-02 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University（信息科学与工程学院，山东大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题，提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架，在多基准上优于现有基线，兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家工业科学与技术研究院）；Japan Kyoto University（京都大学）
本研究通过分析离散词元ASR，验证了中介语语音可懂度优势，提出仅用母语数据即可实现口音鲁棒识别，适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Minimum Processing Near-end Listening Enhancement
RTX A/S（RTX A/S公司）；Aalborg University（奥尔堡大学）
本文提出一种最小处理的近端听音增强方法，在满足可懂度约束下以均方误差为处理代价，通过简单增益规则自适应噪声条件，在保证可懂度的同时减少语音失真并提升质量。
2023-05-30 cs.SD eess.AS eess.SP
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited（塔塔咨询服务公司）；TCS Research and Innovation（TCS研究与创新部门）
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响，还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单（a）患者接受和（b）临床医生解释，则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展，该系统要求患者说出大量的话语。在本文中，我们提出了（a）一个成本最小化的程序，以选择一个最佳的（小）数量的话语，需要由构音障碍患者，（b）四个不同的扬声器独立的可理解性评估系统，需要患者说少量的话，和（c）的评估分数是接近的感知分数，语音语言病理学家（SLP）可以涉及。从可用性的角度来看，患者需要说出少量的话语，并且评分与SLP相关，这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
