MFCCGAN: A Novel MFCC-Based Speech Synthesizer Using Adversarial Learning
Shahid Beheshti University（沙希德·贝赫什蒂大学）
本文提出基于对抗学习的语音合成器MFCCGAN，以MFCCs为输入生成原始波形，在STOI和NISQA指标上显著优于Librosa和WORLD，提升了语音可懂度与自然度。
2023-06-22 cs.AI cs.SD eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology（代尔夫特理工大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；University of Amsterdam（阿姆斯特丹大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们提出了一种新的方法，病理语音合成。而不是使用健康的语音作为源，我们定制一个现有的病理语音样本，以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题，因为在我们的方法中，语音转换（VC）模型不需要针对语音退化进行优化，而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念，我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明，合理的自然度高清晰度构音障碍的扬声器，虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比，地面真理。对于低清晰度和高清晰度的说话人，说话人特性转换是成功的，但对于中清晰度的说话人，转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
Evaluating Speech Synthesis by Training Recognizers on Synthetic Speech
Carnegie Mellon University（卡内基梅隆大学）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
针对现有合成语音自动评估指标多局限于可懂度的问题，提出通过在合成语音上训练ASR模型、用其在真实语音上的WER衡量语音分布相似性的评估方法，该指标与MOS的自然度和可懂度均有强相关性。
2023-10-01 cs.CL cs.SD eess.AS
DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）
本文提出端到端视频到语音合成模型DiVISe，仅从视频帧直接预测梅尔频谱图，无需声学提示即可在保持说话人特征的同时提升语音可懂度，并在LRS2和LRS3数据集上优于现有方法。
2025-03-07 cs.CV cs.LG cs.MM
DualSpeech: Enhancing Speaker-Fidelity and Text-Intelligibility Through Dual Classifier-Free Guidance
Supertone Inc.（SuperTone公司）；ElevenLabs Inc.（ElevenLabs公司）
DualSpeech提出一种结合音素级潜在扩散与双重无分类器引导的TTS模型，有效平衡了说话人保真度与文本可懂度，并在性能上超越现有最先进方法。
2024-08-27 cs.SD eess.AS
A Data-Driven Investigation of Noise-Adaptive Utterance Generation with Linguistic Modification
Saarland University（萨尔大学）
在嘈杂的环境中，人类很难理解语音。口语对话系统可以通过修改语音合成（例如，模仿伦巴第语）或通过优化语言生成。我们在这里专注于第二种类型的方法，通过这种方法，在特定的嘈杂环境中更容易理解的单词实现了预期的信息。通过进行语音感知实验，我们创建了一个数据集的900个释义在嘈杂的噪音，认为母语为英语的听力正常。我们发现，仔细选择的释义可以提高33%的SNR-5 dB的可懂度。我们的数据分析表明，释义之间的可懂度差异主要是由噪声鲁棒的声学线索。此外，我们提出了一个可懂度感知的释义排序模型，它优于基线模型，在SNR-5 dB的相对改善31.37%。
2022-10-19 cs.CL cs.SD eess.AS
SP-MCQA: Evaluating Intelligibility of TTS Beyond the Word Level
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
TTS可懂度的评估已经达到了瓶颈，因为现有的评估严重依赖于逐词的准确性指标，如WER，无法捕捉真实世界语音的复杂性或反映人类的理解需求。为了解决这个问题，我们提出了口语通道多选择问答，一种新的主观方法来评估合成语音中关键信息的准确性，并发布SP-MCQA-Eval，一个8.76小时的新闻风格的基准数据集SP-MCQA评估。我们的实验表明，低WER并不一定保证高的关键信息的准确性，暴露了传统的指标和实际的可理解性之间的差距。SP-MCQA表明，即使是最先进的（SOTA）模型仍然缺乏强大的文本规范化和语音准确性。这项工作强调了迫切需要高层次的，更逼真的评估标准，现在许多系统已经在WER上表现出色，但可能在现实世界的可理解性方面有所欠缺。
2025-10-30 cs.CL cs.SD eess.AS
Noise-Aware Lombard Speech Synthesis via Flow-GRPO for Intelligibility Optimization
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
该研究针对对话智能体在噪声环境下可懂度不足的问题，提出基于Flow-GRPO的NIL-TTS框架，通过FiLM机制实现发声适配，经两阶段训练后合成语音可随噪声强度提升可懂度。
2026-10-15 cs.SD
A Pilot Study of Applying Sequence-to-Sequence Voice Conversion to Evaluate the Intelligibility of L2 Speech Using a Native Speaker's Shadowings
Graduate School of Engineering, The University of Tokyo（东京大学工学系研究科）
本文通过序列到序列语音转换技术构建虚拟跟读系统，模拟母语者对二语语音的跟读行为，以细粒度反馈帮助二语学习者检测和诊断发音及韵律问题，实验验证了该方法的可行性。
2024-10-03 cs.CL cs.SD eess.AS
Loud and Clear: Dynamic Activation Steering for Improving Speech Intelligibility in Noisy Environments
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；KIT Campus Transfer (KCT)（KIT 校园转移中心）；Carnegie Mellon University (CMU)（卡内基梅隆大学）
本研究提出一种无需重训练的激活引导方法，通过动态调整发声努力和过度发音，提升TTS在嘈杂环境下的语音可懂度，保持说话人相似度并显著降低词错误率。
2026-10-07 cs.CL cs.SD
An Evaluation Framework for Text-to-Speech Voice Reconstruction
The Centre for Speech Technology Research, University of Edinburgh, UK（语音技术研究中心，爱丁堡大学，英国）
针对语音障碍者的TTS语音重建，提出包含主观和客观评估的框架，主观使用最佳最差缩放，客观引入双参考分布度量，平衡可懂度与说话人身份。
2026-06-23 cs.CL cs.SD eess.AS
Deep Speech Synthesis from Multimodal Articulatory Representations
University of California, Berkeley（加州大学伯克利分校）；University of Bremen（不来梅大学）；Carnegie Mellon University（卡内基梅隆大学）
针对发音数据稀缺问题，提出一种多模态预训练框架，通过迁移学习有效提升了基于MRI和肌电图的低资源发音到声学语音合成性能，在可懂度与多项质量指标上显著优于基线。
2024-12-17 cs.SD eess.AS
Covertly improving intelligibility with data-driven adaptations of speech timing
School of Computing Science Simon Fraser University（西蒙菲莎大学计算机科学学院）；Université Marie et Louis Pasteur SUPMICROTECH CNRS institut FEMTO-ST（玛丽-路易斯·巴斯德大学、SUPMICROTECH、法国国家科学研究中心FEMTO-ST研究所）；Department of Linguistics Simon Fraser University（西蒙菲莎大学语言学系）
本文通过数据驱动方法研究语音节奏调整对语言理解的影响，发现针对性节奏改变能提升可懂度，但听众常误判全局放慢为更清晰。
2026-03-31 cs.CL cs.SD
Text-to-speech for the hearing impaired
University of Manchester（曼彻斯特大学）；University of Cambridge（剑桥大学）
文本转语音（TTS）系统提供了在源处补偿听力损失的机会，而不是在接收端对其进行校正。这消除了诸如在助听器中放大声音的算法的时间限制等限制，并且可以导致更高的语音质量。我们提出了一种算法，恢复响度正常的感知在时间，频率和水平的高分辨率，并将其嵌入到TTS系统，使用Tacotron2和WaveGlow产生单独放大的语音。语音质量的主观评价表明，该算法导致高质量的音频与原始或线性放大的语音，但相当高的语音清晰度噪声的声音质量相似。迁移学习使得从原始语音到单独放大的语音的产生的频谱快速适应，从而产生高的语音质量和可懂度，从而为我们提供了一种有效地训练个体TTS系统的方法。
2021-03-22 cs.LG cs.SD eess.AS
Mandarin Electrolaryngeal Speech Voice Conversion using Cross-domain Features
National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）；National Cheng Kung University Hospital（国立成功大学医院）
针对全喉切除患者使用的电子喉语音质量与可懂度差的问题，本文提出融合频谱特征与自监督学习嵌入等跨域特征的新型电子喉语音转换系统，实验证明其性能优于仅用传统频谱特征的方案。
2023-06-11 cs.SD eess.AS
Single-stage TTS with Masked Audio Token Modeling and Semantic Knowledge Distillation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Dolby Laboratories（杜比实验室）
针对当前主流两阶段TTS流程复杂的问题，提出结合语义知识蒸馏的单阶段音频Token建模方法，在语音质量相当的情况下大幅缩小与两阶段模型的可懂度差距，验证了精简架构单阶段TTS的高效高质量潜力。
2024-09-17 cs.AI cs.SD eess.AS
An Objective Evaluation Framework for Pathological Speech Synthesis
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；Idiap Research Institute（伊迪亚普研究所）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
病理性语音系统的发展目前受到缺乏标准化客观评估框架的阻碍。在这项工作中，（1）我们利用现有的检测和分析技术，提出了一个通用的框架，一致的评价合成病理语音。该框架评估语音质量和语音的可懂度方面，并使用我们的实验证明是互补的。(2)使用我们提出的评估框架，我们开发和测试构音障碍的语音转换系统（VC）使用CycleGAN-VC和基于PSOLA的语音速率修改技术。我们表明，开发的系统能够合成构音障碍的语音与不同水平的语音清晰度。
2021-07-01 cs.CL cs.SD eess.AS
Improving Cross-lingual Speech Synthesis with Triplet Training Scheme
Ximalaya Inc.（喜马拉雅公司）
跨语言文本到语音（TTS）的最新进展使单语者合成外语语音成为可能。然而，生成的跨语言语音的发音与本族语者的发音在自然度和可懂度方面仍有很大的差距。在本文中，提出了一种三元组训练方案，以提高跨语言的发音，允许以前看不见的内容和扬声器组合，以在训练过程中看到。所提出的方法引入了一个额外的微调阶段，在训练过程中的三重损失，这有效地绘制了合成的外国语音的发音更接近那些从本地锚扬声器，同时保留非本地扬声器的音色。实验进行了最先进的基线跨语言的TTS系统及其增强的变种的基础上。所有的客观和主观评价表明，该方法带来了显着的改善，在可懂度和自然度的合成跨语言的语音。
2022-02-22 cs.CL cs.SD eess.AS
Lightweight and perceptually-guided voice conversion for electro-laryngeal speech
本文提出一种轻量级语音转换方法，通过结合自监督预训练与监督微调，提升电声式语音的自然度和可懂度，验证了轻量级架构在语音康复中的可行性。
2026-01-22 cs.LG cs.SD
Can we reconstruct a dysarthric voice with the large speech model Parler TTS?
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
本研究探索使用大型语音模型 Parler TTS 重建构音障碍患者患病前的声音，通过微调模型生成语音，发现模型能生成但难以控制可理解性和保持说话人身份，并提出了改进方向。
2025-06-04 cs.CL cs.SD eess.AS
LTA-L2S: Lexical Tone-Aware Lip-to-Speech Synthesis for Mandarin with Cross-Lingual Transfer Learning
School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）；Institute of Acoustics Chinese Academy of Science（中国科学院声学研究所）
针对普通话唇动转语音中视位—音素映射复杂且声调关键的问题，本文提出 LTA-L2S，利用英语视听 SSL 模型跨语言迁移、flow-matching 生成 F0 及两阶段细化频谱图，显著提升可懂度与声调准确性。
2025-09-30 cs.CV cs.SD
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield（谢菲尔德大学）
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中，我们利用一个无监督的不确定性估计方法来预测语音清晰度，它不需要清晰度标签或参考信号来训练预测器。我们的实验表明，国家的最先进的端到端的自动语音识别（ASR）模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估，结果表明，ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S（RTX公司）；Aalborg University（奥尔堡大学）
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近，它已被证明，这个问题的最佳解决方案，需要考虑在两个环境中的噪声源联合。然而，现有的基于最佳互信息的方法需要一个复杂的系统模型，包括自然语音变化，并依赖于近似和假设的基础信号分布。在本文中，我们建议使用一个更简单的信号模型，并优化语音清晰度的近似语音清晰度指数（ASII）的基础上。我们推导出一个封闭形式的解决方案的联合远，近端语音增强的问题，是独立的信号系数的边缘分布，并达到类似的性能，现有的工作。此外，我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
Aphasic Speech Recognition using a Mixture of Speech Intelligibility Experts
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
鲁棒的语音识别是自动失语语音分析中语义特征提取的关键前提。然而，标准的通用自动语音识别模型在应用于失语症语音时表现不佳。这样做的一个原因是由于不同的严重程度（即，更高的严重性使其本身更难理解）。为了解决这个问题，我们提出了一种新的声学模型的基础上的混合专家（MoE），它处理不同的可懂度阶段，目前在失语症的语音明确定义的严重程度为基础的专家。在测试时，每个专家的贡献是决定通过估计语音清晰度与语音清晰度检测器（SID）。我们表明，我们提出的方法显着降低了电话错误率在失语症语音的所有严重程度阶段相比，基线方法，不将严重程度的信息到建模过程中。
2020-08-25 cs.SD eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；Academia Sinica（中央研究院）
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中，我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失，其约束条件是在修改之前和之后保持语音信号的均方根（RMS）水平和持续时间。具体来说，我们利用iMetricGAN方法来优化生成对抗网络（GANs）的语音可懂度指标。实验结果表明，所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施，即，在食堂噪声条件下，以比特为单位的语音可懂度（SIIB）和扩展的短时客观可懂度（ESTOI）。此外，正式的听力测试显示显着的清晰度增益时，噪音和混响存在。
2020-04-07 cs.SD eess.AS
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited（塔塔咨询服务公司）；TCS Research and Innovation（TCS研究与创新部门）
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响，还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单（a）患者接受和（b）临床医生解释，则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展，该系统要求患者说出大量的话语。在本文中，我们提出了（a）一个成本最小化的程序，以选择一个最佳的（小）数量的话语，需要由构音障碍患者，（b）四个不同的扬声器独立的可理解性评估系统，需要患者说少量的话，和（c）的评估分数是接近的感知分数，语音语言病理学家（SLP）可以涉及。从可用性的角度来看，患者需要说出少量的话语，并且评分与SLP相关，这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering（Spring实验室，电气工程系）
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法，利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音，以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.（Orka Labs 公司）；Stanford University（斯坦福大学）
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式，发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations
Language Technologies Research Center（语言技术研究中心）
针对有监督语音可懂度检测依赖人工标注、扩展性差的问题，提出基于Wav2Vec-2.0自监督表征与DTW对齐距离的无监督方法，三种距离度量下准确率最高达96.58%。
2023-06-15 cs.AI cs.SD eess.AS
Crowdsourced Multilingual Speech Intelligibility Testing
Cisco Systems, Inc.（思科系统公司）
针对现有语音清晰度测试的局限，本文提出众包式评估方法，公开多语种语音数据并开展早期实验，为相关研究提供支持。
2026-08-05 cs.AI cs.SD eess.AS
Assessing the intelligibility of vocoded speech using a remote testing framework
Duke University（杜克大学）
在过去一年，由于COVID-19疫情期间需要物理距离，远程语音清晰度测试已成为传统面对面实验的流行和必要替代方案。开发了一个远程框架，用于对正常听力的听众进行语音清晰度测试。在这项研究中，受试者使用他们的个人电脑完成句子识别任务在消声和混响的听力环境。使用此远程框架获得的结果与先前收集的实验室结果进行了比较，并显示远程研究参与者的语音清晰度高于在实验室完成测试的受试者。
2021-05-28 cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.（Orka实验室）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架，并结合2片段增强策略提升跨数据集泛化能力，在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
Speech Intelligibility Classifiers from 550k Disordered Speech Samples
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
我们开发了构音障碍语音清晰度分类器，用于分析由468名不同说话者组成的551，176个无序语音样本，这些样本具有一系列自我报告的说话障碍，并在五点量表上对其整体清晰度进行评级。我们按照不同的深度学习方法训练了三个模型，并在来自100名说话者的约94 K话语上对其进行了评估。我们进一步发现模型在TORGO数据库（100%准确率），UASpeech（0.93相关性），ALS-TDI PMP（0.81 AUC）数据集以及我们收集的真实自发语音数据集（106名构音障碍者和76名对照说话者，约2300个样本）上泛化良好（无需进一步训练）。
2023-03-15 cs.SD eess.AS
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
Joint Semantic Knowledge Distillation and Masked Acoustic Modeling for Full-band Speech Restoration with Improved Intelligibility
Dolby Laboratories（杜比实验室）
针对现有语音修复生成模型MaskSR可懂度有待提升的问题，提出结合语义知识蒸馏与掩码声学建模的MaskSR2，在不增加模型容量与推理时间的前提下，显著降低词错误率，兼顾语音质量与可懂度。
2024-09-14 cs.AI cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield（谢菲尔德大学）
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型，用于预测听障用户的语音可懂度，并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics（国立情报学研究所）；SOKENDAI（综合研究大学院大学）
在环境噪声和混响的存在下，语音的可懂度严重降低。在本文中，我们提出了一种新的基于深度学习的系统，用于修改语音信号以在等功率约束下提高其可懂度，即，修改前后的信号功率必须相同。为了实现这一点，我们使用生成对抗网络（GANs）来获得时频相关的放大因子，然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络（DNN）模型，以同时优化多个高级语音指标，而不是只优化一个简单的指标，包括与清晰度和质量相关的指标，从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放，但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明，该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
Optimization of a Real-Time Wavelet-Based Algorithm for Improving Speech Intelligibility
Hong Kong University of Science and Technology（香港科技大学）
一个基于小波的算法，以提高语音清晰度的优化与完整的数据集和结果的报告。通过多级离散小波变换将离散时间语音信号分成频率子带。在子带信号被重新组合以形成语音的修改版本之前，将各种增益应用于子带信号。在保持整体信号能量不变的情况下调整子带增益，增强各种背景干扰和模拟听力损失条件下的语音清晰度，并使用Google Speech-to-Text转录进行客观定量的评估。一组通用的子带增益可以在高达4.8 dB的信噪比范围内工作。对于无噪声语音，整体清晰度得到提高，通过将频谱能量重新分配到中频子带，Google转录准确度平均提高了16.9个百分点，最高提高了86.7个百分点。对于已经被噪声破坏的语音，提高清晰度是一项挑战，但仍然可以实现，平均转录准确率提高9.5个百分点，最高可达71.4个百分点。该算法可实现实时的【形】语音处理，并且比以前的算法简单。潜在的应用包括语音增强、助听器、机器听力和更好地理解语音清晰度。
2022-07-21 cs.CL cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete（克里特大学）；Chania General Hospital（干尼亚综合医院）
在这项工作中，我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩（SSDRC）的基础上，被称为基于WaveNet的SSDRC（wSSDRC），使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发，并提供了应用神经语音增强模型，并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中，我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下，相等的能量前后修改。听力正常（NH）和听力受损（HI）的听众在语音成形噪声（SSN）下以与他们的语音接收阈值（SRT）匹配的特定于听众的SNR评估模型，在该点处，50%的未修改语音是可理解的。分析统计数据表明，wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI，相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Training-Free Intelligibility-Guided Observation Addition for Noisy ASR
Nanyang Technological University（南洋理工大学）；Nara Institute of Science and Technology（奈良科学技術大學）
提出一种无训练的可懂度引导观测添加方法，通过后端ASR的可懂度估计推导融合权重，提升噪声环境下ASR鲁棒性，无需修改SE或ASR模型参数。
2026-06-06 cs.AI cs.SD eess.AS
Generative Models for Improved Naturalness, Intelligibility, and Voicing of Whispered Speech
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
这项工作适应了两个最近的架构生成模型，并评估其有效性转换的耳语音正常语音。我们将正常目标语音纳入矢量量化变分自编码器（VQ-VAE）和MelGAN的训练标准中，从而调节系统从耳声输入中恢复有声语音。客观和主观质量测量表明，VQ-VAE和MelGAN都可以修改以执行转换任务。我们发现，所提出的方法显着改善梅尔倒谱系数失真（MCD）度量至少25%相对于DiscoGAN基线。主观听力测试表明，与耳声输入语音相比，基于MelGAN的系统显着提高了自然度，可懂度和语音。一种基于潜在语音表示之间差异的新评估措施也表明，我们基于MelGAN的方法相对于基线有所改进。
2023-01-30 cs.SD eess.AS
Applications of Artificial Intelligence for Cross-language Intelligibility Assessment of Dysarthric Speech
Carnegie Mellon University（卡内基梅隆大学）；Arizona State University（亚利桑那州立大学）
本文提出一个结合通用语音模型与语言特定评估模型的两层AI框架，以解决构音障碍言语跨语言可懂度评估中的数据稀缺、标注复杂和语言学认识不足等问题。
2025-05-08 cs.CL cs.SD eess.AS
