Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich（苏黎世大学）；University of Tehran（德黑兰大学）
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合，用于构音障碍语音的识别、说话人识别和可懂度评估，并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training
Seoul National University（首尔国立大学）
构音障碍是一种影响数百万人的运动性语言障碍。构音障碍者的言语比非构音障碍者的言语更难理解，从而导致显著的沟通困难。我们工作的目标是开发一个模型，构音障碍，以健康的语音转换使用周期一致的GAN。使用18，700个构音障碍和8，610个健康对照韩语话语，这些话语是为了在先前的研究中自动识别语音键盘而记录的，该生成器被训练成在谱域中将构音障碍转换为健康语音，然后将其转换回语音。客观评价使用自动语音识别的生成的话语上举行了测试集显示，识别性能得到改善，与原来的dysarthic语音进行对抗训练后，作为绝对WER已降低了33.4%。实验结果表明，所提出的基于GAN的转换方法对于改善构音障碍语音的可懂度是有用的。
2020-01-10 cs.CL cs.SD eess.AS
MTI-Net: A Multi-Target Speech Intelligibility Prediction Model
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Microsoft Corporation（微软公司）；Southern University of Science and Technology of China（南方科技大学）
近年来，基于深度学习（DL）的非侵入式语音评估模型引起了人们的极大关注。许多研究报告说，这些基于DL的模型产生令人满意的评估性能和良好的灵活性，但他们在看不见的环境中的性能仍然是一个挑战。此外，与质量分数相比，很少有研究详细阐述深度学习模型来估计可懂度分数。本研究提出了一个多任务语音清晰度预测模型，称为MTI-Net，同时预测人类和机器的清晰度措施。具体而言，给定一个语音话语，MTI-Net被设计用于预测人类主观听力测试结果和单词错误率（WER）分数。我们还研究了几种可以提高MTI-Net预测性能的方法。首先，我们比较了MTI-Net的不同特征（包括低级特征和自监督学习（SSL）模型的嵌入）和预测目标。其次，我们探讨了迁移学习和多任务学习对训练MTI-Net的影响。最后，我们研究了微调SSL嵌入的潜在优势。实验结果证明了使用跨域特征、多任务学习和微调SSL嵌入的有效性。此外，它被证实，MTI-Net预测的可懂度和WER分数与地面实况分数高度相关。
2022-08-31 cs.LG cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
Automatic Estimation of Intelligibility Measure for Consonants in Speech
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在这篇文章中，我们提供了一个模型来估计一个真正的价值衡量个别语音段的可懂度。我们基于卷积神经网络（CNN）训练回归模型，用于与元音\textipa{/A/}相关的塞音\textipa{/p,t,k,b,d,g/}，以估计相应的信噪比（SNR），在该信噪比下，辅音-元音（CV）声音对于正常听力（NH）耳朵变得可理解。每个声音的可懂度度量称为SNR $_{90}$，定义为人类参与者能够平均至少90%正确识别辅音的SNR水平，如之前对NH受试者的实验所确定的。将CNN的性能与基于自动语音识别（ASR）的基线预测进行比较，具体地，从SNR中减去恒定偏移，在该恒定偏移处，ASR变得能够正确地标记辅音。与基线相比，我们的模型能够准确估计SNR $_{90}$ ~可懂度测量，平均均方误差（MSE）小于2 [dB $^2$ ]，而基线ASR定义的测量计算SNR $_{90}$ ~，方差为5.2至26.6 [dB $^2$ ]，具体取决于辅音。
2020-06-28 cs.CL cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield（谢菲尔德大学）
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型，用于预测听障用户的语音可懂度，并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
Intelligibility of Speech in Noise: Investigating Contribution of Magnitude and Phase Spectra
Signal Analysis and Interpretation Laboratory, University of Southern California, Los Angeles, USA（美国南加州大学信号分析与解释实验室）；National Institute of Technology, Patna, India（印度帕坦国家理工学院）；Indian Institute of Technology, Jammu, India（印度朱默尔理工学院）；Koneru Lakshmaiah Education Foundation, Vaddeswaram, Guntur District, Andhra Pradesh, India（安得拉邦戈塔瓦德区瓦达萨瓦拉姆康纳鲁拉克希玛伊教育基金会）
通过三个实验评估幅度谱和相位谱对噪声中辅音可懂度的贡献，发现幅度谱在干净条件下贡献更大，而相位谱在噪声条件下更鲁棒，且鼻音比擦音和近音更易受噪声影响。
2026-06-17 cs.SD eess.AS
Transfer Learning from Whisper for Microscopic Intelligibility Prediction
Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统科学实验室）
针对微观可懂度预测缺乏大规模深度学习迁移学习方法的问题，本文提出将Whisper模型迁移学习用于词汇响应级微观可懂度预测，在零样本及微调场景下均优于基线，最高相对提升66%，验证了该类方法的潜力。
2024-04-02 cs.CL cs.SD eess.AS
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
针对现有合成语音自动评估指标多局限于可懂度的问题，提出通过在合成语音上训练ASR模型、用其在真实语音上的WER衡量语音分布相似性的评估方法，该指标与MOS的自然度和可懂度均有强相关性。
2023-10-01 cs.CL cs.SD eess.AS
An ASR Guided Speech Intelligibility Measure for TTS Model Selection
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
神经文本到语音（TTS）的感知质量高度依赖于训练过程中模型的选择。使用训练目标度量（如最小均方误差）选择模型并不总是与人类感知相关。在本文中，我们提出了一个客观的度量的基础上的电话出错率（PER）选择TTS模型与最佳的语音可懂度。在TTS模型的输入文本与使用自动语音识别（ASR）模型从合成语音解码的文本之间计算PER，ASR模型在与TTS模型相同的数据上训练。与主观研究的帮助下，我们表明，选择的TTS模型与最小的PER验证分裂有显着更高的语音清晰度相比，最少的训练目标度量损失的模型。最后，使用建议的PER和主观评价，我们表明，最佳TTS模型的选择取决于体裁的目标领域的文本。我们所有的实验都在印地语数据集上进行。然而，所提出的模型选择方法是语言无关的。
2020-06-02 cs.SD eess.AS
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家工业科学与技术研究院）；Japan Kyoto University（京都大学）
本研究通过分析离散词元ASR，验证了中介语语音可懂度优势，提出仅用母语数据即可实现口音鲁棒识别，适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
Training-Free Intelligibility-Guided Observation Addition for Noisy ASR
Nanyang Technological University（南洋理工大学）；Nara Institute of Science and Technology（奈良科学技術大學）
提出一种无训练的可懂度引导观测添加方法，通过后端ASR的可懂度估计推导融合权重，提升噪声环境下ASR鲁棒性，无需修改SE或ASR模型参数。
2026-06-06 cs.AI cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Towards explainable reference-free speech intelligibility evaluation of people with pathological speech
Nagoya University（名古屋大学）；Groningen University（格罗宁根大学）；University Hospital Cologne（科隆大学医院）；University Hospital CologneGermany（科隆大学医院）
本文提出了一种无参考、可解释的ASR不一致性评分，用于评估病理语音的可懂性，其性能接近或优于基于参考的词错误率基线。
2026-02-16 cs.SD
ReFESS-QI: Reference-Free Evaluation For Speech Separation With Joint Quality And Intelligibility Scoring
Johns Hopkins University, USA（约翰霍普金斯大学）；Technion, Israel Institute of Technology, Israel（技术学院，以色列技术学院）；University of Haifa, Israel（海法大学）
针对无参考语音分离评估难题，提出基于自监督表示的无参考框架ReFESS-QI，联合预测SI-SNR和WER，在WHAMR!数据集上取得高相关性，验证了鲁棒性。
2025-10-27 cs.SD eess.AS
How Private is Low-Frequency Speech Audio in the Wild? An Analysis of Verbal Intelligibility by Humans and Machines
RWTH Aachen University（亚琛工业大学）；Delft University of Technology（代尔夫特理工大学）
本文评估低频音频在真实环境中保护言语隐私的有效性，通过模拟攻击并权衡语音活动检测性能与隐私，结合人类和机器可懂度分析其平衡。
2024-07-18 cs.HC cs.SD eess.AS
Speech Intelligibility Assessment with Uncertainty-Aware Whisper Embeddings and sLSTM
Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）；Social Network and Human Centered Computing, Institute of Information Science, Academia Sinica（社交网络与人本计算，信息科学研究所，学术院）；Institute of Information Science, Academia Sinica（信息科学研究所，学术院）
针对非侵入式语音可懂度预测的挑战，研究提出融合不确定性感知Whisper嵌入统计特征与CNN-sLSTM的iMTI-Net多任务预测网络，在多指标上优于原始模型。
2025-09-04 cs.SD eess.AS
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering（工学研究生院）；The University of Tokyo（东京大学）
本研究提出一种基于语音转换和潜在语音表示的语音生成系统，模拟母语者跟读过程，以评估非母语者的语音可懂度，实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
ASR ensembling for phoneme intelligibility evaluation of speech anonymizers
Technische Universität Berlin（柏林工业大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学实验室）
本文首次对语音匿名化器进行音素级可懂度评估，提出基于ASR集成的硬投票指标，在组合多个模型时与人类评分相关性超0.9，并开源所有资源。
2026-09-25 cs.SD
A Few-Shot Approach to Dysarthric Speech Intelligibility Level Classification Using Transformers
Center for Computational Engineering and Networking（计算工程与网络中心）；Amrita Vishwa Vidyapeetham（阿米塔大学）
提出基于 whisper-large-v2 的少样本构音障碍语音分类方法，在 UASpeech 有限数据上检测构音障碍并预测可懂度等级，同时避免数据泄漏。
2023-09-17 cs.CL cs.SD eess.AS
Advanced Modeling of Interlanguage Speech Intelligibility Benefit with L1-L2 Multi-Task Learning Using Differentiable K-Means for Accent-Robust Discrete Token-Based ASR
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国家工业科学与技术研究院）
本文提出基于可微k均值的L1-L2多任务学习方法，用于提升抗口音的离散token基于ASR的语义识别益处。
2026-01-27 cs.SD
A Pilot Study of Applying Sequence-to-Sequence Voice Conversion to Evaluate the Intelligibility of L2 Speech Using a Native Speaker's Shadowings
Graduate School of Engineering, The University of Tokyo（东京大学工学系研究科）
本文通过序列到序列语音转换技术构建虚拟跟读系统，模拟母语者对二语语音的跟读行为，以细粒度反馈帮助二语学习者检测和诊断发音及韵律问题，实验验证了该方法的可行性。
2024-10-03 cs.CL cs.SD eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种多语言口吃语音评估框架，结合通用音素识别与语言特定音素对比建模，提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音增强模型用于将含噪语音映射为干净语音。在训练阶段，通常采用目标函数来优化模型参数。然而，在大多数研究中，模型优化标准和增强语音的评价标准之间存在不一致。例如，在测量语音可懂度时，大多数评估度量是基于短时客观可懂度（STOI）测量，而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差（MMSE）。由于不一致性，无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中，我们提出了一个端到端的基于话语的语音增强框架，使用全卷积神经网络（FCN），以减少模型优化和评估标准之间的差距。由于基于话语的优化，当基于感知的目标函数用于直接优化时，可以考虑长语音段的时间相关信息，或者甚至在整个话语级。作为一个例子，我们实现了建议的FCN增强框架，以优化的STOI措施。实验结果表明，由于训练目标与评价目标的一致性，测试语音的STOI优于传统MMSE优化语音。此外，通过将STOI集成在模型优化中，与MMSE准则生成的语音相比，人类主体和自动语音识别（ASR）系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
Building DNN Acoustic Models for Large Vocabulary Speech Recognition
Stanford University（斯坦福大学）
深度神经网络（DNN）现在是几乎所有最先进的语音识别系统的核心组件。构建神经网络声学模型需要几个设计决策，包括网络架构、大小和训练损失函数。本文提供了一个实证调查DNN声学模型设计的哪些方面是最重要的语音识别系统的性能。我们报告DNN分类器的性能和最终的语音识别器的字出错率，并比较DNN使用几个指标来量化影响任务性能差异的因素。我们的第一组实验使用标准的Switchboard基准语料库，其中包含约300小时的会话电话语音。我们将标准DNN与卷积网络进行比较，并使用局部连接的未绑定神经网络进行声学建模。我们还通过结合Switchboard和Fisher语料库，在2,100小时的训练数据的语料库上构建系统。这个更大的语料库使我们能够更彻底地检查大型DNN模型的性能-参数比语音识别系统中通常使用的参数多十倍。我们的研究结果表明，相对简单的DNN架构和优化技术可以产生强大的结果。这些发现以及以前的工作有助于建立一套最佳实践，用于构建具有最大似然训练的DNN混合语音识别系统。我们在DNN优化方面的实验还可以作为一个案例研究，用于训练具有语音任务判别损失函数的DNN，以及更一般的DNN分类器。
2015-01-20 cs.CL cs.LG cs.NE
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S（RTX公司）；Aalborg University（奥尔堡大学）
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近，它已被证明，这个问题的最佳解决方案，需要考虑在两个环境中的噪声源联合。然而，现有的基于最佳互信息的方法需要一个复杂的系统模型，包括自然语音变化，并依赖于近似和假设的基础信号分布。在本文中，我们建议使用一个更简单的信号模型，并优化语音清晰度的近似语音清晰度指数（ASII）的基础上。我们推导出一个封闭形式的解决方案的联合远，近端语音增强的问题，是独立的信号系数的边缘分布，并达到类似的性能，现有的工作。此外，我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
Enhancing Speech Intelligibility in Text-To-Speech Synthesis using Speaking Style Conversion
University of Crete（克里特大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
数字助理的日益普及使得文本到语音（TTS）合成系统成为现代移动设备不可或缺的功能。因此，期望构建一种能够在存在噪声的情况下生成高度可理解的语音的系统。过去的研究探讨了TTS合成中的风格转换，但合成质量下降往往会导致更差的可懂度。为了克服这些限制，我们提出了一种新的迁移学习方法，使用Tacotron和基于WaveRNN的TTS合成。所提出的语音系统利用两种修改策略：（a）伦巴第说话风格的数据和（b）频谱整形和动态范围压缩（SSDRC），已被证明提供高清晰度增益，通过重新分配信号能量的时间-频率域。我们把这种扩展称为Lombard-SSDRC TTS系统。可懂度增强量化的位（SIIB-Gauss）措施表明，拟议的Lombard-SSDRC TTS系统显示出显着的相对改善110%和130%之间的语音成形噪声（SSN），和47%至140%的竞争扬声器噪声（CSN）对国家的最先进的TTS方法。额外的主观评价表明，Lombard-SSDRC TTS成功地提高了语音清晰度，与基线TTS方法相比，SSN和CSN的中位关键字校正率分别提高了455%和104%。
2020-08-13 cs.LG cs.SD eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；Academia Sinica（中央研究院）
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中，我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失，其约束条件是在修改之前和之后保持语音信号的均方根（RMS）水平和持续时间。具体来说，我们利用iMetricGAN方法来优化生成对抗网络（GANs）的语音可懂度指标。实验结果表明，所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施，即，在食堂噪声条件下，以比特为单位的语音可懂度（SIIB）和扩展的短时客观可懂度（ESTOI）。此外，正式的听力测试显示显着的清晰度增益时，噪音和混响存在。
2020-04-07 cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架，以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
Crowdsourced Multilingual Speech Intelligibility Testing
Cisco Systems, Inc.（思科系统公司）
针对现有语音清晰度测试的局限，本文提出众包式评估方法，公开多语种语音数据并开展早期实验，为相关研究提供支持。
2026-08-05 cs.AI cs.SD eess.AS
Disentangled Latent Speech Representation for Automatic Pathological Intelligibility Assessment
Ludwig-Maximilians University（路德维希-马克西米利安大学）
语言清晰度评估在病理性语言障碍患者的治疗中起着重要的作用。自动和客观的措施是可取的，以协助治疗师在其传统的主观和劳动密集型的评估。在这项工作中，我们研究了一种新的方法来获得这样一个措施，使用的分歧解开潜在的语音表示的平行话语对，从一个健康的参考和病理扬声器。在脑瘫患者的英语数据库上进行的实验，使用每个说话者的所有可用话语，显示出与主观可懂度测量的高且显著的相关值（R = -0.9），而在四个不同的参考说话者对之间仅具有最小的偏差（± 0.01）。我们还证明了所提出的方法的鲁棒性（R = -0.89偏差+-0.02超过1000次迭代），考虑每个扬声器的话语量显着减少。我们的研究结果是第一个表明，解开的语音表示可以用于自动病理语音可懂度评估，从而在一个参考扬声器对不变的方法，适用于只有几个可用的话语的情况。
2022-06-27 cs.CL cs.LG cs.SD
Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models
IIIT Hyderabad（印度信息技术与通信技术研究院海得拉巴分校）；TCS Research（塔塔咨询服务研究中心）
本文提出一种利用自监督和Seq2Seq学习模拟真实语音的新方法，显著提升了NAM到语音转换的可懂度，在MCD指标上超越SOTA 29.08%，并以42.57%的WER为扩充后的语料库设定了基准。
2024-07-26 cs.AI cs.SD eess.AS
Assessing the intelligibility of vocoded speech using a remote testing framework
Duke University（杜克大学）
在过去一年，由于COVID-19疫情期间需要物理距离，远程语音清晰度测试已成为传统面对面实验的流行和必要替代方案。开发了一个远程框架，用于对正常听力的听众进行语音清晰度测试。在这项研究中，受试者使用他们的个人电脑完成句子识别任务在消声和混响的听力环境。使用此远程框架获得的结果与先前收集的实验室结果进行了比较，并显示远程研究参与者的语音清晰度高于在实验室完成测试的受试者。
2021-05-28 cs.SD eess.AS
Vocal effort modeling in neural TTS for improving the intelligibility of synthetic speech in noise
Apple（苹果公司(Apple)）
我们提出了一种神经文本到语音（TTS）的方法，模型自然的声音努力的变化，以提高在噪声存在下的合成语音的可懂度。该方法包括首先测量未标记的传统语音数据的频谱倾斜，然后用归一化的频谱倾斜以及其他韵律因素来调节神经TTS模型。改变频谱倾斜参数并保持其他韵律因素不变使得能够在合成时独立于其他韵律因素有效地控制发声努力。通过将频谱倾斜值外推到原始数据之外，我们可以生成具有高声音努力水平的语音，从而在存在掩蔽噪声的情况下提高语音的可懂度。我们评估的清晰度和质量的正常语音和语音增加的声音努力在各种掩蔽噪声条件下的存在，并比较这些知名的语音清晰度增强算法。实验结果表明，该方法在保证语音质量的前提下，提高了合成语音的可懂度。
2022-03-29 cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited（塔塔咨询服务公司）；TCS Research and Innovation（TCS研究与创新部门）
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响，还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单（a）患者接受和（b）临床医生解释，则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展，该系统要求患者说出大量的话语。在本文中，我们提出了（a）一个成本最小化的程序，以选择一个最佳的（小）数量的话语，需要由构音障碍患者，（b）四个不同的扬声器独立的可理解性评估系统，需要患者说少量的话，和（c）的评估分数是接近的感知分数，语音语言病理学家（SLP）可以涉及。从可用性的角度来看，患者需要说出少量的话语，并且评分与SLP相关，这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering（Spring实验室，电气工程系）
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法，利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音，以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.（Orka Labs 公司）；Stanford University（斯坦福大学）
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式，发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Speech Intelligibility Classifiers from 550k Disordered Speech Samples
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
我们开发了构音障碍语音清晰度分类器，用于分析由468名不同说话者组成的551，176个无序语音样本，这些样本具有一系列自我报告的说话障碍，并在五点量表上对其整体清晰度进行评级。我们按照不同的深度学习方法训练了三个模型，并在来自100名说话者的约94 K话语上对其进行了评估。我们进一步发现模型在TORGO数据库（100%准确率），UASpeech（0.93相关性），ALS-TDI PMP（0.81 AUC）数据集以及我们收集的真实自发语音数据集（106名构音障碍者和76名对照说话者，约2300个样本）上泛化良好（无需进一步训练）。
2023-03-15 cs.SD eess.AS
Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations
Language Technologies Research Center（语言技术研究中心）
针对有监督语音可懂度检测依赖人工标注、扩展性差的问题，提出基于Wav2Vec-2.0自监督表征与DTW对齐距离的无监督方法，三种距离度量下准确率最高达96.58%。
2023-06-15 cs.AI cs.SD eess.AS
STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
大多数客观的语音清晰度评估指标的计算需要干净的语音作为参考。这种要求可能会限制这些指标在现实世界场景中的适用性。为了克服这一限制，我们提出了一种基于深度学习的非侵入式语音可懂度评估模型，即STOI-Net。STOI-Net的输入和输出分别是语音频谱特征和预测的STOI分数。该模型是由一个卷积神经网络和双向长短期记忆（CNN-BLSTM）架构与乘法注意力机制的组合。实验结果表明，由STOI-Net估计的STOI分数与实际的STOI分数有很好的相关性时，测试与噪声和增强的语音话语。相关值分别为0.97和0.83，对于可见的测试条件（测试扬声器和噪声类型涉及训练集）和不可见的测试条件（测试扬声器和噪声类型不涉及训练集）。结果证实了STOI-Net在不参考干净语音的情况下准确预测STOI分数的能力。
2020-11-09 cs.LG cs.SD eess.AS
Joint Semantic Knowledge Distillation and Masked Acoustic Modeling for Full-band Speech Restoration with Improved Intelligibility
Dolby Laboratories（杜比实验室）
针对现有语音修复生成模型MaskSR可懂度有待提升的问题，提出结合语义知识蒸馏与掩码声学建模的MaskSR2，在不增加模型容量与推理时间的前提下，显著降低词错误率，兼顾语音质量与可懂度。
2024-09-14 cs.AI cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Towards Intelligibility-Oriented Audio-Visual Speech Enhancement
Edinburgh Napier University（爱丁堡龙比亚大学）
现有的基于深度学习（DL）的语音增强方法通常被优化以最小化干净语音特征与增强语音特征之间的距离。这些通常导致改善的语音质量，但是它们缺乏概括性，并且在实际嘈杂的情况下可能无法提供所需的语音清晰度。为了应对这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数和视听（AV）信息的整合，以实现更鲁棒的语音增强（SE）。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一个新的和以前未探索的研究方向。具体来说，我们提出了一个完全卷积的AV SE模型，该模型使用修改后的短时客观可懂度（STOI）度量作为训练成本函数。据我们所知，这是第一项利用AV模态与基于I-O的SE损失函数的集成的工作。比较实验结果表明，我们提出的I-O AV SE框架优于音频（AO）和AV模型训练与传统的基于距离的损失函数，在标准的客观评价措施，当处理看不见的扬声器和噪声。
2021-11-18 cs.CV cs.LG cs.SD
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
An Attention Long Short-Term Memory based system for automatic classification of speech intelligibility
Universidad Carlos III de Madrid（卡洛斯三世大学）
本研究提出一种基于注意力LSTM和非侵入式方法的语音可懂度自动分类系统，利用对数梅尔频谱图特征，在UA-Speech数据库上优于SVM和均值池化LSTM基线。
2024-02-05 cs.LG cs.SD eess.AS
