Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich（苏黎世大学）；University of Tehran（德黑兰大学）
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合，用于构音障碍语音的识别、说话人识别和可懂度评估，并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training
Seoul National University（首尔国立大学）
构音障碍是一种影响数百万人的运动性语言障碍。构音障碍者的言语比非构音障碍者的言语更难理解，从而导致显著的沟通困难。我们工作的目标是开发一个模型，构音障碍，以健康的语音转换使用周期一致的GAN。使用18，700个构音障碍和8，610个健康对照韩语话语，这些话语是为了在先前的研究中自动识别语音键盘而记录的，该生成器被训练成在谱域中将构音障碍转换为健康语音，然后将其转换回语音。客观评价使用自动语音识别的生成的话语上举行了测试集显示，识别性能得到改善，与原来的dysarthic语音进行对抗训练后，作为绝对WER已降低了33.4%。实验结果表明，所提出的基于GAN的转换方法对于改善构音障碍语音的可懂度是有用的。
2020-01-10 cs.CL cs.SD eess.AS
Persian Vowel recognition with MFCC and ANN on PCVC speech dataset
Vali-e-Asr University of Rafsanjan（拉夫桑詹瓦利埃阿斯尔大学）；University of Tabriz（大不里士大学）
本文提出了一种在新的波斯语语音数据集PCVC（Persian Consonant-Vowel Combination）上识别辅音-元音音素组合的新方法，并将其用于波斯语音素的识别。在PCVC数据集中，有来自10个说话人的20组音频样本，它们是波斯语的23个辅音和6个元音音素的组合。在每个样本中，有一个元音和一个辅音的组合。首先，辅音音素发音，紧接着元音音素发音。每个声音样本是一帧2秒的音频。在每2秒中，平均有0.5秒的讲话，其余的是沉默。在本文中，所提出的方法是MFCC（梅尔频率倒谱系数）的实现对每个分区的声音样本。然后，将MFCC矢量的每个训练样本送入多层感知器前馈神经网络（人工神经网络）进行训练。最后，对测试样本进行了音素识别的人工神经网络模型检验。经过训练和测试，给出了元音识别的结果。然后，计算元音音素的平均识别率。
2018-12-17 cs.CL cs.LG cs.SD
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Pretrained self-supervised speech models can recognize unseen consonants
University of Notre Dame（圣母大学）；University at Buffalo（纽约州立大学布法罗分校）；Tokyo University of Foreign Studies（东京外国语大学）；Reitaku University（丽泽大学）；Boston College（波士顿学院）
研究预训练自监督语音模型（Wav2Vec2、HuBERT）对Khoisan语言中罕见吸气辅音的识别能力，发现模型对吸气辅音的识别准确率高于非吸气辅音，表明自监督学习能泛化到稀有音素。
2026-10-09 cs.AI cs.CL
Transfer Learning from Whisper for Microscopic Intelligibility Prediction
Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统科学实验室）
针对微观可懂度预测缺乏大规模深度学习迁移学习方法的问题，本文提出将Whisper模型迁移学习用于词汇响应级微观可懂度预测，在零样本及微调场景下均优于基线，最高相对提升66%，验证了该类方法的潜力。
2024-04-02 cs.CL cs.SD eess.AS
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
针对现有合成语音自动评估指标多局限于可懂度的问题，提出通过在合成语音上训练ASR模型、用其在真实语音上的WER衡量语音分布相似性的评估方法，该指标与MOS的自然度和可懂度均有强相关性。
2023-10-01 cs.CL cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本，以教授ASR系统有关受损语音的各种表现。在这里，我们开发并比较了不同的深度学习技术，以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本，这些说话者说了29个单词或短语，这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后，我们评估了使用3种方法开发的分类器：（1）为任务训练的卷积神经网络（CNN），（2）使用无监督目标的CNN的非语义语音表示训练的分类器[1]，以及（3）来自典型语音训练的ASR系统的声学（编码器）嵌入训练的分类器[2]。我们发现，ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明，ASR嵌入聚类语音的口语短语，而非语义嵌入聚类语音的说话人。此外，较长的短语比单个单词更能说明可理解性缺陷。
2021-07-08 cs.LG cs.SD eess.AS
An ASR Guided Speech Intelligibility Measure for TTS Model Selection
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
神经文本到语音（TTS）的感知质量高度依赖于训练过程中模型的选择。使用训练目标度量（如最小均方误差）选择模型并不总是与人类感知相关。在本文中，我们提出了一个客观的度量的基础上的电话出错率（PER）选择TTS模型与最佳的语音可懂度。在TTS模型的输入文本与使用自动语音识别（ASR）模型从合成语音解码的文本之间计算PER，ASR模型在与TTS模型相同的数据上训练。与主观研究的帮助下，我们表明，选择的TTS模型与最小的PER验证分裂有显着更高的语音清晰度相比，最少的训练目标度量损失的模型。最后，使用建议的PER和主观评价，我们表明，最佳TTS模型的选择取决于体裁的目标领域的文本。我们所有的实验都在印地语数据集上进行。然而，所提出的模型选择方法是语言无关的。
2020-06-02 cs.SD eess.AS
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家工业科学与技术研究院）；Japan Kyoto University（京都大学）
本研究通过分析离散词元ASR，验证了中介语语音可懂度优势，提出仅用母语数据即可实现口音鲁棒识别，适用于数据稀缺口音。
2025-05-22 cs.SD eess.AS
A Few-Shot Approach to Dysarthric Speech Intelligibility Level Classification Using Transformers
Center for Computational Engineering and Networking（计算工程与网络中心）；Amrita Vishwa Vidyapeetham（阿米塔大学）
提出基于 whisper-large-v2 的少样本构音障碍语音分类方法，在 UASpeech 有限数据上检测构音障碍并预测可懂度等级，同时避免数据泄漏。
2023-09-17 cs.CL cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
A Pilot Study of Applying Sequence-to-Sequence Voice Conversion to Evaluate the Intelligibility of L2 Speech Using a Native Speaker's Shadowings
Graduate School of Engineering, The University of Tokyo（东京大学工学系研究科）
本文通过序列到序列语音转换技术构建虚拟跟读系统，模拟母语者对二语语音的跟读行为，以细粒度反馈帮助二语学习者检测和诊断发音及韵律问题，实验验证了该方法的可行性。
2024-10-03 cs.CL cs.SD eess.AS
ReFESS-QI: Reference-Free Evaluation For Speech Separation With Joint Quality And Intelligibility Scoring
Johns Hopkins University, USA（约翰霍普金斯大学）；Technion, Israel Institute of Technology, Israel（技术学院，以色列技术学院）；University of Haifa, Israel（海法大学）
针对无参考语音分离评估难题，提出基于自监督表示的无参考框架ReFESS-QI，联合预测SI-SNR和WER，在WHAMR!数据集上取得高相关性，验证了鲁棒性。
2025-10-27 cs.SD eess.AS
MTI-Net: A Multi-Target Speech Intelligibility Prediction Model
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Microsoft Corporation（微软公司）；Southern University of Science and Technology of China（南方科技大学）
近年来，基于深度学习（DL）的非侵入式语音评估模型引起了人们的极大关注。许多研究报告说，这些基于DL的模型产生令人满意的评估性能和良好的灵活性，但他们在看不见的环境中的性能仍然是一个挑战。此外，与质量分数相比，很少有研究详细阐述深度学习模型来估计可懂度分数。本研究提出了一个多任务语音清晰度预测模型，称为MTI-Net，同时预测人类和机器的清晰度措施。具体而言，给定一个语音话语，MTI-Net被设计用于预测人类主观听力测试结果和单词错误率（WER）分数。我们还研究了几种可以提高MTI-Net预测性能的方法。首先，我们比较了MTI-Net的不同特征（包括低级特征和自监督学习（SSL）模型的嵌入）和预测目标。其次，我们探讨了迁移学习和多任务学习对训练MTI-Net的影响。最后，我们研究了微调SSL嵌入的潜在优势。实验结果证明了使用跨域特征、多任务学习和微调SSL嵌入的有效性。此外，它被证实，MTI-Net预测的可懂度和WER分数与地面实况分数高度相关。
2022-08-31 cs.LG cs.SD eess.AS
Speech Intelligibility Assessment with Uncertainty-Aware Whisper Embeddings and sLSTM
Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）；Social Network and Human Centered Computing, Institute of Information Science, Academia Sinica（社交网络与人本计算，信息科学研究所，学术院）；Institute of Information Science, Academia Sinica（信息科学研究所，学术院）
针对非侵入式语音可懂度预测的挑战，研究提出融合不确定性感知Whisper嵌入统计特征与CNN-sLSTM的iMTI-Net多任务预测网络，在多指标上优于原始模型。
2025-09-04 cs.SD eess.AS
Simulating Native Speaker Shadowing for Nonnative Speech Assessment with Latent Speech Representations
Graduate School of Engineering（工学研究生院）；The University of Tokyo（东京大学）
本研究提出一种基于语音转换和潜在语音表示的语音生成系统，模拟母语者跟读过程，以评估非母语者的语音可懂度，实验证明该方法有效且使用自监督表示效果更佳。
2024-09-19 cs.SD eess.AS
How Private is Low-Frequency Speech Audio in the Wild? An Analysis of Verbal Intelligibility by Humans and Machines
RWTH Aachen University（亚琛工业大学）；Delft University of Technology（代尔夫特理工大学）
本文评估低频音频在真实环境中保护言语隐私的有效性，通过模拟攻击并权衡语音活动检测性能与隐私，结合人类和机器可懂度分析其平衡。
2024-07-18 cs.HC cs.SD eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种多语言口吃语音评估框架，结合通用音素识别与语言特定音素对比建模，提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield（谢菲尔德大学）
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型，用于预测听障用户的语音可懂度，并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
Towards explainable reference-free speech intelligibility evaluation of people with pathological speech
Nagoya University（名古屋大学）；Groningen University（格罗宁根大学）；University Hospital Cologne（科隆大学医院）；University Hospital CologneGermany（科隆大学医院）
本文提出了一种无参考、可解释的ASR不一致性评分，用于评估病理语音的可懂性，其性能接近或优于基于参考的词错误率基线。
2026-02-16 cs.SD
Prediction of speech intelligibility with DNN-based performance measures
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出了一种基于自动语音识别（ASR）的语音可懂度模型，该模型结合了来自深度神经网络（DNN）的音素概率和从这些概率估计单词出错率的性能度量。该模型在测试过程中不需要干净的语音参考，也不需要单词标签，因为ASR解码步骤被省略，该步骤在给定音素后验概率的情况下找到最可能的单词序列。该模型通过从8个正常听力的听众的预测和观察到的语音接收阈值之间的均方根误差进行评估。识别任务包括从德国矩阵句子测试中识别噪声单词。语音材料与八个噪声掩蔽物混合，覆盖不同的调制类型，从语音形状的静态噪声到单个说话者掩蔽物。的预测性能进行比较，五个已建立的模型和一个ASR模型，使用单词标签。测试了功能和网络的两种组合。两者都包括在特征级（幅度调制滤波器组和前馈网络）或由架构（梅尔频谱图和时间延迟深度神经网络，TDNN）捕获的时间信息。TDNN模型与DNN相当，同时将参数数量减少了37倍;这种优化允许在专用助听器硬件上并行流，因为可以在每帧的10 ms内计算前向传递。该模型的性能几乎与基于标签的模型一样好，并且比基线模型产生更准确的预测。
2022-03-17 cs.AI cs.CL cs.LG
ASR ensembling for phoneme intelligibility evaluation of speech anonymizers
Technische Universität Berlin（柏林工业大学）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学实验室）
本文首次对语音匿名化器进行音素级可懂度评估，提出基于ASR集成的硬投票指标，在组合多个模型时与人类评分相关性超0.9，并开源所有资源。
2026-09-25 cs.SD
Layer-wise Probing of wav2vec 2.0 and Whisper for Consonant Cluster Reduction in African American English
Department of English Language and Linguistics, Institute of English and American Studies, Faculty of Arts and Humanities, Heinrich Heine University Düsseldorf, Germany（海因里希·海涅大学杜塞尔多夫分校，人文与艺术学院，英美研究学院，英语语言与语言学系）；Department of Linguistics, University of Florida, United States of America（佛罗里达大学语言学系）
通过分层探测，研究自监督和监督语音模型如何编码非裔美国英语中的辅音丛简化现象，发现模型能区分简化与规范形式，且简化段保留底层塞音线索，表明该现象被编码为结构化渐变音系变异。
2026-06-24 cs.CL
Training-Free Intelligibility-Guided Observation Addition for Noisy ASR
Nanyang Technological University（南洋理工大学）；Nara Institute of Science and Technology（奈良科学技術大學）
提出一种无训练的可懂度引导观测添加方法，通过后端ASR的可懂度估计推导融合权重，提升噪声环境下ASR鲁棒性，无需修改SE或ASR模型参数。
2026-06-06 cs.AI cs.SD eess.AS
Advanced Modeling of Interlanguage Speech Intelligibility Benefit with L1-L2 Multi-Task Learning Using Differentiable K-Means for Accent-Robust Discrete Token-Based ASR
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国家工业科学与技术研究院）
本文提出基于可微k均值的L1-L2多任务学习方法，用于提升抗口音的离散token基于ASR的语义识别益处。
2026-01-27 cs.SD
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
Detection of Consonant Errors in Disordered Speech Based on Consonant-vowel Segment Embedding
The Chinese University of Hong Kong（香港中文大学）
言语声音障碍（SSD）是指一种发育障碍，在预期年龄时，幼儿在产生某些言语声音方面遇到持续困难。辅音错误是SSD临床评估的主要指标。以往的研究表明，SSD的自动评估的语音错误检测的短和短暂的辅音是不太令人满意的。本文研究了一种基于神经网络的方法，使用辅音-元音（CV）双音子段检测混乱的语音中的辅音错误相比，使用辅音单音子段。潜在的假设是，CV段的元音部分携带来自辅音的协同发音的重要信息。语音嵌入提取CV段的递归神经网络模型。计算测试段和参考段的嵌入之间的相似性分数，以确定测试段是否是期望的辅音。实验结果表明，使用CV段实现了改进的性能检测语音错误有关的“困难”的辅音在以前的研究报告。
2021-06-16 cs.SD eess.AS
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音增强模型用于将含噪语音映射为干净语音。在训练阶段，通常采用目标函数来优化模型参数。然而，在大多数研究中，模型优化标准和增强语音的评价标准之间存在不一致。例如，在测量语音可懂度时，大多数评估度量是基于短时客观可懂度（STOI）测量，而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差（MMSE）。由于不一致性，无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中，我们提出了一个端到端的基于话语的语音增强框架，使用全卷积神经网络（FCN），以减少模型优化和评估标准之间的差距。由于基于话语的优化，当基于感知的目标函数用于直接优化时，可以考虑长语音段的时间相关信息，或者甚至在整个话语级。作为一个例子，我们实现了建议的FCN增强框架，以优化的STOI措施。实验结果表明，由于训练目标与评价目标的一致性，测试语音的STOI优于传统MMSE优化语音。此外，通过将STOI集成在模型优化中，与MMSE准则生成的语音相比，人类主体和自动语音识别（ASR）系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架，以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S（RTX公司）；Aalborg University（奥尔堡大学）
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近，它已被证明，这个问题的最佳解决方案，需要考虑在两个环境中的噪声源联合。然而，现有的基于最佳互信息的方法需要一个复杂的系统模型，包括自然语音变化，并依赖于近似和假设的基础信号分布。在本文中，我们建议使用一个更简单的信号模型，并优化语音清晰度的近似语音清晰度指数（ASII）的基础上。我们推导出一个封闭形式的解决方案的联合远，近端语音增强的问题，是独立的信号系数的边缘分布，并达到类似的性能，现有的工作。此外，我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；Academia Sinica（中央研究院）
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中，我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失，其约束条件是在修改之前和之后保持语音信号的均方根（RMS）水平和持续时间。具体来说，我们利用iMetricGAN方法来优化生成对抗网络（GANs）的语音可懂度指标。实验结果表明，所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施，即，在食堂噪声条件下，以比特为单位的语音可懂度（SIIB）和扩展的短时客观可懂度（ESTOI）。此外，正式的听力测试显示显着的清晰度增益时，噪音和混响存在。
2020-04-07 cs.SD eess.AS
Assessing the intelligibility of vocoded speech using a remote testing framework
Duke University（杜克大学）
在过去一年，由于COVID-19疫情期间需要物理距离，远程语音清晰度测试已成为传统面对面实验的流行和必要替代方案。开发了一个远程框架，用于对正常听力的听众进行语音清晰度测试。在这项研究中，受试者使用他们的个人电脑完成句子识别任务在消声和混响的听力环境。使用此远程框架获得的结果与先前收集的实验室结果进行了比较，并显示远程研究参与者的语音清晰度高于在实验室完成测试的受试者。
2021-05-28 cs.SD eess.AS
Vocal effort modeling in neural TTS for improving the intelligibility of synthetic speech in noise
Apple（苹果公司(Apple)）
我们提出了一种神经文本到语音（TTS）的方法，模型自然的声音努力的变化，以提高在噪声存在下的合成语音的可懂度。该方法包括首先测量未标记的传统语音数据的频谱倾斜，然后用归一化的频谱倾斜以及其他韵律因素来调节神经TTS模型。改变频谱倾斜参数并保持其他韵律因素不变使得能够在合成时独立于其他韵律因素有效地控制发声努力。通过将频谱倾斜值外推到原始数据之外，我们可以生成具有高声音努力水平的语音，从而在存在掩蔽噪声的情况下提高语音的可懂度。我们评估的清晰度和质量的正常语音和语音增加的声音努力在各种掩蔽噪声条件下的存在，并比较这些知名的语音清晰度增强算法。实验结果表明，该方法在保证语音质量的前提下，提高了合成语音的可懂度。
2022-03-29 cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
The role of vowel and consonant onsets in neural tracking of natural speech
本研究通过正向建模和匹配-不匹配任务，发现元音-辅音起始在预测EEG信号上优于任何音素起始，揭示了EEG中存在元音与辅音的神经追踪，并指出以往认为与宽泛语音类别相关的神经追踪可能源于元音-辅音起始。
2023-07-31 eess.AS
Speech Intelligibility Classifiers from 550k Disordered Speech Samples
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
我们开发了构音障碍语音清晰度分类器，用于分析由468名不同说话者组成的551，176个无序语音样本，这些样本具有一系列自我报告的说话障碍，并在五点量表上对其整体清晰度进行评级。我们按照不同的深度学习方法训练了三个模型，并在来自100名说话者的约94 K话语上对其进行了评估。我们进一步发现模型在TORGO数据库（100%准确率），UASpeech（0.93相关性），ALS-TDI PMP（0.81 AUC）数据集以及我们收集的真实自发语音数据集（106名构音障碍者和76名对照说话者，约2300个样本）上泛化良好（无需进一步训练）。
2023-03-15 cs.SD eess.AS
Consonant-Vowel Transition Models Based on Deep Learning for Objective Evaluation of Articulation
辅音-元音（CV）过渡区的频谱-时间动态被认为是提供与发音相关的鲁棒线索。在这项工作中，我们提出了一个客观的措施，精确的清晰度，被称为客观清晰度措施（OAM），通过分析CV过渡分割周围元音起始。OAM是基于卷积神经网络的后验子导出的，该卷积神经网络被预先训练成使用CV区域作为输入在不同辅音之间进行分类。我们证明OAM与各种背景下的感知测量相关，包括（a）成人构音障碍言语，（b）唇/腭裂儿童的言语，以及（c）来自母语普通话和西班牙语的口音英语言语数据库。
2022-03-18 eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology（代尔夫特理工大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；University of Amsterdam（阿姆斯特丹大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们提出了一种新的方法，病理语音合成。而不是使用健康的语音作为源，我们定制一个现有的病理语音样本，以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题，因为在我们的方法中，语音转换（VC）模型不需要针对语音退化进行优化，而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念，我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明，合理的自然度高清晰度构音障碍的扬声器，虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比，地面真理。对于低清晰度和高清晰度的说话人，说话人特性转换是成功的，但对于中清晰度的说话人，转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；Waseda University（早稻田大学）
在大多数实际应用中，广播系统必须在噪声环境中传递语音信息，而在这种环境中，背景噪声是无法消除的。本地噪声降低了语音的可懂度，增加了收听者的收听努力，从而影响了广播系统的有效性。有报道指出，在嘈杂的环境中，专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明，语音清晰度可能与专业播音员的说话风格有关，可以通过语音转换方法进行调整。基于这一思想，本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势，我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实，在低信噪比条件下，转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics（国立情报学研究所）；SOKENDAI（综合研究大学院大学）
在环境噪声和混响的存在下，语音的可懂度严重降低。在本文中，我们提出了一种新的基于深度学习的系统，用于修改语音信号以在等功率约束下提高其可懂度，即，修改前后的信号功率必须相同。为了实现这一点，我们使用生成对抗网络（GANs）来获得时频相关的放大因子，然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络（DNN）模型，以同时优化多个高级语音指标，而不是只优化一个简单的指标，包括与清晰度和质量相关的指标，从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放，但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明，该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力，还评估编码前语音增强的影响，发现经典编解码器更抗噪，语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
A Perception-Based L2 Speech Intelligibility Indicator: Leveraging a Rater's Shadowing and Sequence-to-sequence Voice Conversion
The University of Tokyo（东京大学）；Graduate School of Engineering（工学研究科）
本文提出一种基于感知的L2语音可懂度指示器，利用母语评分者跟读数据与序列到序列语音转换框架，结合对齐机制和声学特征重建模拟听觉感知，客观与主观评估表明其比传统基于ASR的指标更贴近人类判断，为CALL系统提供新方向。
2025-05-30 cs.SD eess.AS
Enhancing Speech Intelligibility in Text-To-Speech Synthesis using Speaking Style Conversion
University of Crete（克里特大学）；Foundation for Research and Technology - Hellas（希腊研究与技术基金会）
数字助理的日益普及使得文本到语音（TTS）合成系统成为现代移动设备不可或缺的功能。因此，期望构建一种能够在存在噪声的情况下生成高度可理解的语音的系统。过去的研究探讨了TTS合成中的风格转换，但合成质量下降往往会导致更差的可懂度。为了克服这些限制，我们提出了一种新的迁移学习方法，使用Tacotron和基于WaveRNN的TTS合成。所提出的语音系统利用两种修改策略：（a）伦巴第说话风格的数据和（b）频谱整形和动态范围压缩（SSDRC），已被证明提供高清晰度增益，通过重新分配信号能量的时间-频率域。我们把这种扩展称为Lombard-SSDRC TTS系统。可懂度增强量化的位（SIIB-Gauss）措施表明，拟议的Lombard-SSDRC TTS系统显示出显着的相对改善110%和130%之间的语音成形噪声（SSN），和47%至140%的竞争扬声器噪声（CSN）对国家的最先进的TTS方法。额外的主观评价表明，Lombard-SSDRC TTS成功地提高了语音清晰度，与基线TTS方法相比，SSN和CSN的中位关键字校正率分别提高了455%和104%。
2020-08-13 cs.LG cs.SD eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete（克里特大学）；Chania General Hospital（干尼亚综合医院）
在这项工作中，我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩（SSDRC）的基础上，被称为基于WaveNet的SSDRC（wSSDRC），使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发，并提供了应用神经语音增强模型，并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中，我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下，相等的能量前后修改。听力正常（NH）和听力受损（HI）的听众在语音成形噪声（SSN）下以与他们的语音接收阈值（SRT）匹配的特定于听众的SNR评估模型，在该点处，50%的未修改语音是可理解的。分析统计数据表明，wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI，相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
