A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics（国立情报学研究所）；SOKENDAI（综合研究大学院大学）
在环境噪声和混响的存在下，语音的可懂度严重降低。在本文中，我们提出了一种新的基于深度学习的系统，用于修改语音信号以在等功率约束下提高其可懂度，即，修改前后的信号功率必须相同。为了实现这一点，我们使用生成对抗网络（GANs）来获得时频相关的放大因子，然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络（DNN）模型，以同时优化多个高级语音指标，而不是只优化一个简单的指标，包括与清晰度和质量相关的指标，从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放，但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明，该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
A Perception-Based L2 Speech Intelligibility Indicator: Leveraging a Rater's Shadowing and Sequence-to-sequence Voice Conversion
The University of Tokyo（东京大学）；Graduate School of Engineering（工学研究科）
本文提出一种基于感知的L2语音可懂度指示器，利用母语评分者跟读数据与序列到序列语音转换框架，结合对齐机制和声学特征重建模拟听觉感知，客观与主观评估表明其比传统基于ASR的指标更贴近人类判断，为CALL系统提供新方向。
2025-05-30 cs.SD eess.AS
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete（克里特大学）；Chania General Hospital（干尼亚综合医院）
在这项工作中，我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩（SSDRC）的基础上，被称为基于WaveNet的SSDRC（wSSDRC），使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发，并提供了应用神经语音增强模型，并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中，我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下，相等的能量前后修改。听力正常（NH）和听力受损（HI）的听众在语音成形噪声（SSN）下以与他们的语音接收阈值（SRT）匹配的特定于听众的SNR评估模型，在该点处，50%的未修改语音是可理解的。分析统计数据表明，wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI，相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
Generative Models for Improved Naturalness, Intelligibility, and Voicing of Whispered Speech
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
这项工作适应了两个最近的架构生成模型，并评估其有效性转换的耳语音正常语音。我们将正常目标语音纳入矢量量化变分自编码器（VQ-VAE）和MelGAN的训练标准中，从而调节系统从耳声输入中恢复有声语音。客观和主观质量测量表明，VQ-VAE和MelGAN都可以修改以执行转换任务。我们发现，所提出的方法显着改善梅尔倒谱系数失真（MCD）度量至少25%相对于DiscoGAN基线。主观听力测试表明，与耳声输入语音相比，基于MelGAN的系统显着提高了自然度，可懂度和语音。一种基于潜在语音表示之间差异的新评估措施也表明，我们基于MelGAN的方法相对于基线有所改进。
2023-01-30 cs.SD eess.AS
A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习（DL）的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量，但它们缺乏概括性，在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数，以训练DL方法来实现鲁棒的语音增强（SE）。为了更有效地训练深度学习算法，我们提出了一种新的基于典型相关性的I-O损失函数。具体来说，我们提出了一个完全卷积SE模型，使用修改后的基于典型相关的短期客观可懂度（CC-STOI）度量作为训练代价函数。据我们所知，这是第一个工作，利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明，我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型，在处理看不见的扬声器和噪声时，在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
Intelligibility of Speech in Noise: Investigating Contribution of Magnitude and Phase Spectra
Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA（美国南加州大学信号分析与解释实验室）；National Institute of Technology, Patna, India（印度帕坦国家理工学院）；Indian Institute of Technology, Jammu, India（印度朱默尔理工学院）；Koneru Lakshmaiah Education Foundation, Vaddeswaram, Guntur District, Andhra Pradesh, India（安得拉邦戈塔瓦德区瓦达萨瓦拉姆康纳鲁拉克希玛伊教育基金会）
通过三个实验评估幅度谱和相位谱对噪声中辅音可懂度的贡献，发现幅度谱在干净条件下贡献更大，而相位谱在噪声条件下更鲁棒，且鼻音比擦音和近音更易受噪声影响。
2026-06-17 cs.SD eess.AS
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力，还评估编码前语音增强的影响，发现经典编解码器更抗噪，语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
Comparison of remote experiments using crowdsourcing and laboratory experiments on speech intelligibility
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（日本电信电话通信科学实验室）
已经进行了许多主观实验来开发客观的语音清晰度测量，但新型冠状病毒的爆发使得在实验室中进行实验变得非常困难。一种解决方案是使用众包进行远程测试;然而，由于我们无法控制收听条件，因此尚不清楚结果是否完全可靠。在这项研究中，我们比较了远程和实验室实验中获得的语音清晰度分数。结果表明，远程实验的言语接收阈值（SRT）的均值和标准差（SD）均高于实验室实验。然而，在整个语音增强条件下的SRT的方差显示出相似性，这意味着远程测试结果可能与实验室实验一样有用，以制定客观的措施。我们还表明，练习会话分数与SRT值相关。这是在进行主要测试之前的先验信息，并且对于数据筛选以减少SRT分布的变异性是有用的。
2021-04-17 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan（CyberAgent日本）
针对听障听众的双耳语音可懂度预测，提出用Mamba替代Transformer进行时间处理，在保持参数较少的同时达到竞争性能，并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
Harmonic Detection from Noisy Speech with Auditory Frame Gain for Intelligibility Enhancement
Military Institute of Engineering (IME)（军事工程学院）
提出 HDAG 方法，利用选择性 Gammachirp 滤波、HHT-Amp 基频估计及 FSFFE 分类增益调节增强噪声语音谐波，实验与听测均显示其可懂度提升优于三种基线方法。
2024-01-22 cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University（奥尔堡大学）；GN Hearing（GN听力公司）
在诸如鸡尾酒会场景的情况下，听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中，我们提出了一个双耳语音增强框架，考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器，使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器（STP）参数以及干净语音音调参数。在这项工作中，提出了一种基于双耳码本的方法来估计STP参数，并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息，导致滤波器参数的更鲁棒的估计。客观的措施，如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试，以评估清晰度和质量改善方面的性能。听力测试表明，该算法，即使只有一个通道的噪声观察，显着提高整体语音质量，和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
An ASR Guided Speech Intelligibility Measure for TTS Model Selection
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
神经文本到语音（TTS）的感知质量高度依赖于训练过程中模型的选择。使用训练目标度量（如最小均方误差）选择模型并不总是与人类感知相关。在本文中，我们提出了一个客观的度量的基础上的电话出错率（PER）选择TTS模型与最佳的语音可懂度。在TTS模型的输入文本与使用自动语音识别（ASR）模型从合成语音解码的文本之间计算PER，ASR模型在与TTS模型相同的数据上训练。与主观研究的帮助下，我们表明，选择的TTS模型与最小的PER验证分裂有显着更高的语音清晰度相比，最少的训练目标度量损失的模型。最后，使用建议的PER和主观评价，我们表明，最佳TTS模型的选择取决于体裁的目标领域的文本。我们所有的实验都在印地语数据集上进行。然而，所提出的模型选择方法是语言无关的。
2020-06-02 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University（信息科学与工程学院，山东大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题，提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架，在多基准上优于现有基线，兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家工业科学与技术研究院）；Japan Kyoto University（京都大学）
本研究通过分析离散词元ASR，验证了中介语语音可懂度优势，提出仅用母语数据即可实现口音鲁棒识别，适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Enhancing the Intelligibility of Cleft Lip and Palate Speech using Cycle-consistent Adversarial Networks
唇腭裂是一种先天性的颅面畸形，可导致多种语言障碍。由于结构和功能畸形，受影响的受试者的语音清晰度显著降低，限制了语音控制设备的可访问性和可用性。为了解决这个问题，需要提高CLP语音清晰度。此外，它在语言治疗期间也很有用。在这项研究中，周期一致的对抗网络（CycleGAN）方法被用来提高CLP语音可懂度。该模型是在本地卡纳达语儿童的语音数据上训练的。所提出的方法的有效性也衡量使用自动语音识别性能。此外，进行主观评价，并且这些结果也证实了增强语音中的可懂度相对于原始语音的改善。
2021-01-30 eess.AS
Enhancing Speech Intelligibility in Text-To-Speech Synthesis using Speaking Style Conversion
University of Crete（克里特大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
数字助理的日益普及使得文本到语音（TTS）合成系统成为现代移动设备不可或缺的功能。因此，期望构建一种能够在存在噪声的情况下生成高度可理解的语音的系统。过去的研究探讨了TTS合成中的风格转换，但合成质量下降往往会导致更差的可懂度。为了克服这些限制，我们提出了一种新的迁移学习方法，使用Tacotron和基于WaveRNN的TTS合成。所提出的语音系统利用两种修改策略：（a）伦巴第说话风格的数据和（b）频谱整形和动态范围压缩（SSDRC），已被证明提供高清晰度增益，通过重新分配信号能量的时间-频率域。我们把这种扩展称为Lombard-SSDRC TTS系统。可懂度增强量化的位（SIIB-Gauss）措施表明，拟议的Lombard-SSDRC TTS系统显示出显着的相对改善110%和130%之间的语音成形噪声（SSN），和47%至140%的竞争扬声器噪声（CSN）对国家的最先进的TTS方法。额外的主观评价表明，Lombard-SSDRC TTS成功地提高了语音清晰度，与基线TTS方法相比，SSN和CSN的中位关键字校正率分别提高了455%和104%。
2020-08-13 cs.LG cs.SD eess.AS
Non-intrusive speech intelligibility prediction using automatic speech recognition derived measures
语音可懂度的估计是一个远未解决的问题。特别是一个方面是有问题的：大多数标准模型需要一个干净的参考信号，以估计可懂度。这是一个具有一定意义的问题，因为在实践中通常无法获得参考信号。因此，在这项工作中，提出了一种非侵入式的语音清晰度估计框架。在其中，人类听众在关键词识别任务中的表现是使用可懂度测量来预测的，这些测量是从为自动语音识别（ASR）训练的模型中得出的。一个这样的基于ASR和一个基于信号的措施被组合成一个完整的框架，建议无参考可懂度（Nori）估计，这是在预测性能的正常听力和听力受损的听众在多种噪声条件下进行评估。它示出的Nori框架，甚至优于广泛使用的基于参考（或侵入）的短期客观可懂度（STOI）的措施，在大多数情况下考虑的情况下，同时适用于完全盲目的情况下，没有参考信号或转录，创建在线和个性化优化的语音增强系统的前景。
2021-10-28 eess.AS
Optimization of a Real-Time Wavelet-Based Algorithm for Improving Speech Intelligibility
Hong Kong University of Science and Technology（香港科技大学）
一个基于小波的算法，以提高语音清晰度的优化与完整的数据集和结果的报告。通过多级离散小波变换将离散时间语音信号分成频率子带。在子带信号被重新组合以形成语音的修改版本之前，将各种增益应用于子带信号。在保持整体信号能量不变的情况下调整子带增益，增强各种背景干扰和模拟听力损失条件下的语音清晰度，并使用Google Speech-to-Text转录进行客观定量的评估。一组通用的子带增益可以在高达4.8 dB的信噪比范围内工作。对于无噪声语音，整体清晰度得到提高，通过将频谱能量重新分配到中频子带，Google转录准确度平均提高了16.9个百分点，最高提高了86.7个百分点。对于已经被噪声破坏的语音，提高清晰度是一项挑战，但仍然可以实现，平均转录准确率提高9.5个百分点，最高可达71.4个百分点。该算法可实现实时的【形】语音处理，并且比以前的算法简单。潜在的应用包括语音增强、助听器、机器听力和更好地理解语音清晰度。
2022-07-21 cs.CL cs.SD eess.AS
Effective data screening technique for crowdsourced speech intelligibility experiments: Evaluation with IRM-based speech enhancement
本研究通过音调脉冲测试筛选众包数据，评估IRM增强语音的可懂度，减少远程测试变异，使结果接近实验室，并确定掩蔽式单通道增强的上限。
2022-08-20 cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架，以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
Benchmarking Neural Speech Codec Intelligibility with SITool
本文提出用于主观可懂度评估的SITool，在实验室和众包环境下对13种语音编解码器进行基准测试，发现神经编解码器主观表现更优，且仅STOI和ESTOI与主观结果显著相关。
2025-06-02 eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Relationship between objective and subjective perceptual measures of speech in individuals with head and neck cancer
Department of HNO（耳鼻喉科）
本研究探讨头颈癌患者客观与主观语音测度之间的关系，发现主观语音质量与客观测量存在强相关性，表明单一可懂性测量可用于临床监测。
2025-07-29 cs.SD eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering（军事工程学院）
本文提出了一种新的盲声掩模（BAM）设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息，以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外，该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法，理想的二进制掩码（IBM），目标二进制掩码（TBM），和非平稳噪声估计语音增强（NNESE），考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比（SNR）进行评估。结果表明，BAM技术实现可懂度增益与理想的面具，同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Study on the Correlation between Objective Evaluations and Subjective Speech Quality and Intelligibility
本研究基于中文语音数据集，评估常用客观度量与主观语音质量和可懂度的相关性，并提出结合深度学习的新客观度量以减少训练数据需求，揭示客观度量与人类感知的关系。
2023-10-10 eess.AS
Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本，以教授ASR系统有关受损语音的各种表现。在这里，我们开发并比较了不同的深度学习技术，以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本，这些说话者说了29个单词或短语，这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后，我们评估了使用3种方法开发的分类器：（1）为任务训练的卷积神经网络（CNN），（2）使用无监督目标的CNN的非语义语音表示训练的分类器[1]，以及（3）来自典型语音训练的ASR系统的声学（编码器）嵌入训练的分类器[2]。我们发现，ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明，ASR嵌入聚类语音的口语短语，而非语义嵌入聚类语音的说话人。此外，较长的短语比单个单词更能说明可理解性缺陷。
2021-07-08 cs.LG cs.SD eess.AS
Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models
IIIT Hyderabad（印度信息技术与通信技术研究院海得拉巴分校）；TCS Research（塔塔咨询服务研究中心）
本文提出一种利用自监督和Seq2Seq学习模拟真实语音的新方法，显著提升了NAM到语音转换的可懂度，在MCD指标上超越SOTA 29.08%，并以42.57%的WER为扩充后的语料库设定了基准。
2024-07-26 cs.AI cs.SD eess.AS
ReFESS-QI: Reference-Free Evaluation For Speech Separation With Joint Quality And Intelligibility Scoring
Johns Hopkins University, USA（约翰霍普金斯大学）；Technion, Israel Institute of Technology, Israel（技术学院，以色列技术学院）；University of Haifa, Israel（海法大学）
针对无参考语音分离评估难题，提出基于自监督表示的无参考框架ReFESS-QI，联合预测SI-SNR和WER，在WHAMR!数据集上取得高相关性，验证了鲁棒性。
2025-10-27 cs.SD eess.AS
Advancing Zero-shot Text-to-Speech Intelligibility across Diverse Domains via Preference Alignment
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；ByteDance Seed（字节跳动 Seed）
本文构建 INTP 偏好数据集并扩展 DPO 以对齐多种零样本 TTS 架构，显著提升绕口令、语码转换等场景下的可懂度及综合语音质量。
2025-06-06 cs.SD eess.AS
Crowdsourced Multilingual Speech Intelligibility Testing
Cisco Systems, Inc.（思科系统公司）
针对现有语音清晰度测试的局限，本文提出众包式评估方法，公开多语种语音数据并开展早期实验，为相关研究提供支持。
2026-08-05 cs.AI cs.SD eess.AS
Speech Intelligibility Assessment with Uncertainty-Aware Whisper Embeddings and sLSTM
Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）；Social Network and Human Centered Computing, Institute of Information Science, Academia Sinica（社交网络与人本计算，信息科学研究所，学术院）；Institute of Information Science, Academia Sinica（信息科学研究所，学术院）
针对非侵入式语音可懂度预测的挑战，研究提出融合不确定性感知Whisper嵌入统计特征与CNN-sLSTM的iMTI-Net多任务预测网络，在多指标上优于原始模型。
2025-09-04 cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering（工学研究生院）；The University of Tokyo（东京大学）
本研究提出一种基于语音转换和潜在语音表示的语音生成系统，模拟母语者跟读过程，以评估非母语者的语音可懂度，实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
Minimum Processing Near-end Listening Enhancement
RTX A/S（RTX A/S公司）；Aalborg University（奥尔堡大学）
本文提出一种最小处理的近端听音增强方法，在满足可懂度约束下以均方误差为处理代价，通过简单增益规则自适应噪声条件，在保证可懂度的同时减少语音失真并提升质量。
2023-05-30 cs.SD eess.AS eess.SP
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited（塔塔咨询服务公司）；TCS Research and Innovation（TCS研究与创新部门）
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响，还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单（a）患者接受和（b）临床医生解释，则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展，该系统要求患者说出大量的话语。在本文中，我们提出了（a）一个成本最小化的程序，以选择一个最佳的（小）数量的话语，需要由构音障碍患者，（b）四个不同的扬声器独立的可理解性评估系统，需要患者说少量的话，和（c）的评估分数是接近的感知分数，语音语言病理学家（SLP）可以涉及。从可用性的角度来看，患者需要说出少量的话语，并且评分与SLP相关，这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Electrolaryngeal Speech Intelligibility Enhancement Through Robust Linguistic Encoders
Nagoya University（名古屋大学）；TARVO, Inc.（TARVO公司）
本文提出利用鲁棒语言编码器统一电喉语音与正常语音的潜在表示，并引入HuBERT输出特征减少说话人不匹配，从而显著提升电喉语音的可懂度和自然度。
2024-01-20 cs.SD eess.AS
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering（Spring实验室，电气工程系）
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法，利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音，以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.（Orka Labs 公司）；Stanford University（斯坦福大学）
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式，发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
Speech intelligibility of simulated hearing loss sounds and its prediction using the Gammachirp Envelope Similarity Index (GESI)
Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院）
本研究通过模拟70岁和80岁听力损失的语音可懂度实验，比较实验室与远程环境差异，并提出Gammachirp包络相似性指数（GESI）作为新的客观可懂度测量方法，验证其解释心理测量函数及预测听力受损听者语音可懂度的潜力。
2023-11-28 cs.SD eess.AS
