Non-Intrusive Intelligibility Prediction for Hearing Aids: Recent Advances, Trends, and Challenges
Research Center for Information Technology Innovation（信息技术创新研究中心）；Academia Sinica（中国科学院）
本文综述了助听器非侵入式语音可懂度预测的最新进展，涵盖特征提取、听力损失建模等方向，讨论了适配与泛化策略及现存挑战，为该领域的发展提供参考。
2025-09-03 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction from Discrete Latent Representations
Durham University（杜伦大学）；OFFIS e.V. Institute for Information Technology（奥菲斯信息技术研究所）
从双耳信号的非侵入式语音可懂度（SI）预测在许多应用中是有用的。然而，大多数现有的基于信号的测量被设计为应用于单通道信号。专门设计用于考虑信号的双耳特性的措施通常是侵入性的-其特征在于需要访问干净的语音信号-并且通常依赖于在进行预测之前将两个声道组合成单声道信号。本文提出了一种非侵入性的SI措施，计算从一个双耳输入信号的特征，使用矢量量化（VQ）和对比预测编码（CPC）的方法相结合。VQ-CPC特征提取不依赖于听觉系统的任何模型，而是被训练以最大化输入信号和输出特征之间的互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测函数。本文考虑了两个预测函数。特征提取器和预测函数都在具有各向同性噪声的模拟双耳信号上训练。他们进行了测试与各向同性和真实噪声的模拟信号。对于所有信号，地面实况分数是（侵入式）确定性双耳ST 0 I。结果的相关性和MSE方面，并表明，VQ-CPC功能能够捕获相关的建模SI和优于所有考虑的基准-即使在评估的数据，包括不同的噪声场类型。
2022-03-21 cs.LG cs.SD eess.AS
On combining acoustic and modulation spectrograms in an attention LSTM-based system for speech intelligibility level classification
Universidad Carlos III de Madrid（卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）
本文基于注意力LSTM系统，提出用逐帧调制频谱图替代紧凑特征，并探索晚期与加权池化两种融合策略，在UA-Speech上验证了互补性，其中WP融合加注意力池化效果最佳。
2024-02-05 cs.LG eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology（南方科技大学）
本文提出 MBI-Net+，通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标，在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线，提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan（CyberAgent日本）
针对听障听众的双耳语音可懂度预测，提出用Mamba替代Transformer进行时间处理，在保持参数较少的同时达到竞争性能，并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.（Orka实验室）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架，并结合2片段增强策略提升跨数据集泛化能力，在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
DeepGESI: A Non-Intrusive Objective Evaluation Model for Predicting Speech Intelligibility in Hearing-Impaired Listeners
Wakayama University（白川大学）
DeepGESI是一种非侵入式深度学习模型，可高效预测听力受损听众的语音可懂性，无需参考语音，且预测速度快。
2025-12-22 cs.SD
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield（谢菲尔德大学）
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型，用于预测听障用户的语音可懂度，并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.（先进媒体公司）
针对无干净参考的助听器处理语音清晰度预测任务，研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略，提出帧对齐融合方法，在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
An evaluation of intrusive instrumental intelligibility metrics
Victoria University of Wellington（惠灵顿维多利亚大学）；Delft University of Technology（代尔夫特理工大学）
仪器可懂度指标通常用作听力测试的替代方法。本文评估了12个单耳侵入可懂度指标：SII，HEGP，CSII，HASPI，NCM，QSTI，STOI，ESTOI，MIKNN，SIMI，SIIB和$\text{sEPSM}^\text{corr}$。此外，本文还研究了可懂度指标推广到新类型失真的能力，并分析了为什么表现最好的指标具有高性能。可懂度数据是从文献中描述的11个听力测试中获得的。这些刺激包括荷兰语、丹麦语和英语语音，这些语音被加性噪声、混响、竞争性谈话者、前处理增强和后处理增强所扭曲。SIIB和HASPI具有最高的性能，分别与$ρ=0.92$和$ρ=0.89$的平均听力测试分数实现相关性。SIIB的高性能可能部分是由于SIIB开发人员可以访问评估中考虑的所有可懂度数据。结果表明，可理解性指标往往表现不佳的数据集，在他们的发展过程中没有使用。通过修改SIIB和STOI的原始实现，证明了减少输入特征之间的统计依赖性的优点。此外，本文提出了一个新版本的SIIB称为$\text{SIIB}^\text{Gauss}$，它具有类似的性能SIIB和HASPI，但需要两个数量级的计算时间。
2018-07-29 cs.SD
Intelligibility prediction with a pretrained noise-robust automatic speech recognition model
University of Sheffield（谢菲尔德大学）
本文基于预训练抗噪ASR模型提出侵入式和非侵入式两个语音可懂度预测系统，仅用模拟含噪语音预训练，在CPC2评测中展现了对未见场景的鲁棒预测性能。
2023-10-20 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay
Leibniz University Hannover（莱比锡大学汉诺威分校）
本文提出剪枝感知损失函数，在训练深度循环自编码器压缩人工耳蜗刺激模式时兼顾模型压缩与语音可懂度，在剪枝率超过45%时显著优于传统幅值剪枝方法。
2025-02-04 cs.LG cs.SD eess.AS
A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习（DL）的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量，但它们缺乏概括性，在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数，以训练DL方法来实现鲁棒的语音增强（SE）。为了更有效地训练深度学习算法，我们提出了一种新的基于典型相关性的I-O损失函数。具体来说，我们提出了一个完全卷积SE模型，使用修改后的基于典型相关的短期客观可懂度（CC-STOI）度量作为训练代价函数。据我们所知，这是第一个工作，利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明，我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型，在处理看不见的扬声器和噪声时，在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Optimizing Neural Architectures for Hindi Speech Separation and Enhancement in Noisy Environments
Department of Computer Science（计算机科学系）；Birla Institute of Technology and Science Pilani（比拉理工学院和科学学院皮兰）
本文针对印地语语音分离与增强问题，提出基于DEMUCS并结合U-Net与LSTM的改进模型，在40万条增强数据上训练，显著提升噪声环境下的语音清晰度，并通过量化技术实现边缘设备部署。
2025-08-16 cs.LG cs.SD
An instrumental intelligibility metric based on information theory
Victoria University of Wellington（惠灵顿维多利亚大学）；Delft University of Technology（代尔夫特理工大学）
我们提出了一个单声道侵入仪器可懂度度量称为位语音可懂度（SIIB）。SIIB是以比特每秒为单位的在讲话者和收听者之间共享的信息量的估计。与现有的信息理论可懂度度量不同，SIIB考虑了说话者的变化和时频单元之间的统计依赖性。我们的评估表明，相对于国家的最先进的可懂度指标，SIIB是高度相关的语音，已被降低噪声和语音增强算法处理的可懂度。
2018-01-14 cs.SD
MTI-Net: A Multi-Target Speech Intelligibility Prediction Model
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Microsoft Corporation（微软公司）；Southern University of Science and Technology of China（南方科技大学）
近年来，基于深度学习（DL）的非侵入式语音评估模型引起了人们的极大关注。许多研究报告说，这些基于DL的模型产生令人满意的评估性能和良好的灵活性，但他们在看不见的环境中的性能仍然是一个挑战。此外，与质量分数相比，很少有研究详细阐述深度学习模型来估计可懂度分数。本研究提出了一个多任务语音清晰度预测模型，称为MTI-Net，同时预测人类和机器的清晰度措施。具体而言，给定一个语音话语，MTI-Net被设计用于预测人类主观听力测试结果和单词错误率（WER）分数。我们还研究了几种可以提高MTI-Net预测性能的方法。首先，我们比较了MTI-Net的不同特征（包括低级特征和自监督学习（SSL）模型的嵌入）和预测目标。其次，我们探讨了迁移学习和多任务学习对训练MTI-Net的影响。最后，我们研究了微调SSL嵌入的潜在优势。实验结果证明了使用跨域特征、多任务学习和微调SSL嵌入的有效性。此外，它被证实，MTI-Net预测的可懂度和WER分数与地面实况分数高度相关。
2022-08-31 cs.LG cs.SD eess.AS
Speech foundation models on intelligibility prediction for hearing-impaired listeners
Institute of Convergence ILCB（ILCB融合研究所）；Aix-Marseille University（艾克斯-马赛大学）
针对语音感知领域SFM应用探索不足的问题，本文系统评估10种语音基础模型在听障听众语音可懂度预测任务上的表现，提出冻结SFM加轻量预测头的方法，在CPC2挑战赛中夺冠。
2024-01-24 cs.LG cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Dynamic Processing Neural Network Architecture For Hearing Loss Compensation
Poznan University of Technology（波兹南理工大学）；Eriksholm Research Center（埃里克肖姆研究中心）；Tampere University（坦佩雷大学）
提出一种可微且可解释的dynamic processing network用于补偿感音神经性听力损失，该网络通过学习参数最大化语音可懂度，与卷积网络结合后在STOI和HASPI指标上取得最佳结果。
2023-10-25 cs.SD eess.AS
MFCCGAN: A Novel MFCC-Based Speech Synthesizer Using Adversarial Learning
Shahid Beheshti University（沙希德·贝赫什蒂大学）
本文提出基于对抗学习的语音合成器MFCCGAN，以MFCCs为输入生成原始波形，在STOI和NISQA指标上显著优于Librosa和WORLD，提升了语音可懂度与自然度。
2023-06-22 cs.AI cs.SD eess.AS
Towards Intelligibility-Oriented Audio-Visual Speech Enhancement
Edinburgh Napier University（爱丁堡龙比亚大学）
现有的基于深度学习（DL）的语音增强方法通常被优化以最小化干净语音特征与增强语音特征之间的距离。这些通常导致改善的语音质量，但是它们缺乏概括性，并且在实际嘈杂的情况下可能无法提供所需的语音清晰度。为了应对这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数和视听（AV）信息的整合，以实现更鲁棒的语音增强（SE）。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一个新的和以前未探索的研究方向。具体来说，我们提出了一个完全卷积的AV SE模型，该模型使用修改后的短时客观可懂度（STOI）度量作为训练成本函数。据我们所知，这是第一项利用AV模态与基于I-O的SE损失函数的集成的工作。比较实验结果表明，我们提出的I-O AV SE框架优于音频（AO）和AV模型训练与传统的基于距离的损失函数，在标准的客观评价措施，当处理看不见的扬声器和噪声。
2021-11-18 cs.CV cs.LG cs.SD
Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Microsoft（微软）；Southern University of Science and Technology of China（南方科技大学）
提出跨域多目标语音评估模型MOSA-Net，通过同时预测多种指标超越单任务模型，并利用其潜在表示指导语音增强，在客观和定性评估中均取得显著提升。
2024-12-19 cs.LG cs.SD eess.AS
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音增强模型用于将含噪语音映射为干净语音。在训练阶段，通常采用目标函数来优化模型参数。然而，在大多数研究中，模型优化标准和增强语音的评价标准之间存在不一致。例如，在测量语音可懂度时，大多数评估度量是基于短时客观可懂度（STOI）测量，而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差（MMSE）。由于不一致性，无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中，我们提出了一个端到端的基于话语的语音增强框架，使用全卷积神经网络（FCN），以减少模型优化和评估标准之间的差距。由于基于话语的优化，当基于感知的目标函数用于直接优化时，可以考虑长语音段的时间相关信息，或者甚至在整个话语级。作为一个例子，我们实现了建议的FCN增强框架，以优化的STOI措施。实验结果表明，由于训练目标与评价目标的一致性，测试语音的STOI优于传统MMSE优化语音。此外，通过将STOI集成在模型优化中，与MMSE准则生成的语音相比，人类主体和自动语音识别（ASR）系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
Speech Intelligibility Assessment with Uncertainty-Aware Whisper Embeddings and sLSTM
Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）；Social Network and Human Centered Computing, Institute of Information Science, Academia Sinica（社交网络与人本计算，信息科学研究所，学术院）；Institute of Information Science, Academia Sinica（信息科学研究所，学术院）
针对非侵入式语音可懂度预测的挑战，研究提出融合不确定性感知Whisper嵌入统计特征与CNN-sLSTM的iMTI-Net多任务预测网络，在多指标上优于原始模型。
2025-09-04 cs.SD eess.AS
Multi-Task Pseudo-Label Learning for Non-Intrusive Speech Quality Assessment Model
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Fortemedia（扬智科技）
本研究提出基于多任务伪标签学习的非侵入式语音质量评估模型MTQ-Net，利用预训练模型生成伪标签并结合监督与半监督损失训练，实验证明其优于现有方法。
2024-03-13 cs.LG cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University（奥尔堡大学）；GN Hearing（GN听力公司）
在诸如鸡尾酒会场景的情况下，听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中，我们提出了一个双耳语音增强框架，考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器，使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器（STP）参数以及干净语音音调参数。在这项工作中，提出了一种基于双耳码本的方法来估计STP参数，并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息，导致滤波器参数的更鲁棒的估计。客观的措施，如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试，以评估清晰度和质量改善方面的性能。听力测试表明，该算法，即使只有一个通道的噪声观察，显着提高整体语音质量，和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
Are These Even Words? Quantifying the Gibberishness of Generative Speech Models
Signal Processing, University of Hamburg, Germany（信号处理，汉堡大学，德国）
本文提出利用语言模型在无监督条件下量化生成语音的胡言乱语程度，并发布高质量合成胡言乱语语音数据集及评分代码，以改进非侵入式评估方法。
2025-10-24 cs.SD eess.AS
A Study on Speech Assessment with Visual Cues
Research Center for Information Technology Innovation（信息技术创新研究中心）；Institute of Information Science（信息科学研究院）
本研究提出融合音频与视觉线索的双分支多模态框架，通过带注意力的CNN-BLSTM及多任务学习预测语音评估指标，在噪声增强的LRS3-TED数据集上显著优于纯音频基线，验证了视觉线索对非侵入式语音评估的提升作用。
2025-06-11 cs.SD eess.AS eess.SP
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Single channel speech enhancement by colored spectrograms
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）；College of Engineering, Qatar University（卡塔尔大学工程学院）；National Center of Artificial Intelligence（国家人工智能中心）
本文提出基于彩色频谱图和 pix2pix GAN 的单通道语音增强方法，以极低计算成本取得与基线相当的 PESQ 和 STOI 提升。
2023-10-26 cs.SD eess.AS
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
End-to-End Multi-Task Denoising for the Joint Optimization of Perceptual Speech Metrics
Samsung Semiconductor Inc.（三星半导体公司）
虽然基于深度神经网络的监督学习最近在语音增强方面取得了实质性的改进，但现有方案存在两个关键问题：频谱或度量失配。频谱失配是一个众所周知的问题，即在短时傅立叶变换（STFT）之后的任何频谱修改通常在逆短时傅立叶变换（ISTFT）之后不能完全恢复。度量失配是常规的均方误差（MSE）损失函数对于最大化感知语音测量（诸如信号失真比（SDR）、语音质量的感知评估（PESQ）和短时客观可懂度（STOI））而言通常是次优的。本文提出了一种新的端到端去噪框架。首先，对ISTFT后的时域信号进行网络优化，以避免频谱失配。其次，提出了基于SDR、PESQ和STOI的三种损失函数，以最小化度量失配。实验结果表明，该方法在SDR、PESQ和STOI等图像去噪性能上均优于现有方法。此外，所提出的方案还提供了良好的泛化性能生成去噪模型的感知语音度量，而不是作为一个损失函数在训练过程中。
2020-05-06 cs.SD eess.AS
Cellular Network Speech Enhancement: Removing Background and Transmission Noise
Carnegie Mellon University（卡内基梅隆大学）
语音增强的主要目标是在保留目标语音的同时降低背景噪声。当说话者被限制在嘈杂的环境中并且接收具有高背景和传输噪声的呼叫时，常见的困境发生。为了解决这个问题，深度噪声抑制（DNS）挑战赛的重点是使用下一代深度学习模型消除背景噪声，以增强目标的语音;然而，研究人员未能考虑IP语音（VoIP）应用的传输噪声。我们专注于Google Meet及其蜂窝应用程序，在VoIP DNS挑战赛的Google Meet To Phone Track上实现了最先进的性能。本文演示了如何击败工业性能，实现1.92 PESQ和0.88 STOI，以及各种指标的卓越声学保真度，感知质量和可懂度。
2023-01-22 cs.LG cs.SD eess.AS
Using recurrences in time and frequency within U-net architecture for speech enhancement
StethoMe（StethoMe公司）；Poznan University of Technology（波兹南理工大学）
当设计全卷积神经网络时，在网络的较深层中的感受野大小、参数数量和特征的空间分辨率之间存在折衷。在这项工作中，我们提出了一种新的网络设计，基于许多卷积层和递归层的组合，解决了这些难题。我们比较我们的解决方案与U-网为基础的模型，从文献和其他基线模型的语音增强任务。我们测试我们的解决方案TIMIT语音话语结合噪声段从NOISEX-92数据库中提取的SDR（信号失真比），SIR（信号干扰比）和STOI（光谱时间客观可懂度）指标相比，目前最先进的提出的解决方案具有明显的优势。
2018-11-16 cs.LG cs.SD eess.AS
A Study on Incorporating Whisper for Robust Speech Assessment
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Columbia University（哥伦比亚大学）；NVIDIA（英伟达公司）
本研究提出结合大规模弱监督模型 Whisper 的声学特征增强多目标语音评估模型 MOSA-Net+，实验证明其在 TMHINT-QI 数据集和 VoiceMOS Challenge 2023 中均取得显著的性能提升与顶级排名。
2024-04-29 cs.SD eess.AS
Neuro-MSBG: An End-to-End Neural Model for Hearing Loss Simulation
Microsoft（微软）
本文提出轻量级端到端神经模型 Neuro-MSBG，通过个性化听力图编码器进行时间-频率建模，在保持 MSBG 可懂度和感知质量的同时将模拟运行时间缩短 46 倍，适用于实时助听器部署。
2025-07-21 cs.AI cs.SD eess.AS
Audio-Visual Speech Enhancement in Noisy Environments via Emotion-Based Contextual Cues
School of Computing, Edinburgh Napier University（爱丁堡龙比亚大学计算学院）；Center for Information Technology and Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出一种情感感知的音视频语音增强系统，通过从面部关键点提取情感特征并与音视频模态融合，输入基于UNet的编码器-解码器网络，在CMU-MOSEI数据集上验证了情感上下文线索能显著提升噪声环境下的语音质量和可懂度。
2024-02-26 cs.SD eess.AS
Real-Time Speech Enhancement via a Hybrid ViT: A Dual-Input Acoustic-Image Feature Fusion
Simon Fraser University（西蒙弗雷泽大学）
针对真实非平稳噪声环境下单通道实时语音增强性能不足的问题，提出基于混合ViT的双输入声学图像特征融合轻量框架，在标准数据集上验证其降噪与语音质量提升效果接近纯净语音水平。
2025-11-14 cs.AI cs.SD eess.AS
CITISEN: A Deep Learning-Based Speech Signal-Processing Mobile Application
Research Center for Information Technology Innovation at Academia Sinica（中央研究院资讯科技创新研究中心）
这项研究提出了一个基于深度学习的语音信号处理移动应用程序，称为CITISEN。CITISEN提供三种功能：语音增强（SE）、模型自适应（MA）和背景噪声转换（BNC），允许CITISEN用作使用和评估SE模型的平台，并灵活地扩展模型以应对各种噪声环境和用户。对于SE，从云服务器下载的预训练SE模型用于有效地减少来自用户提供的即时或保存的记录的噪声分量。对于遇到看不见的噪声或扬声器环境，MA功能被应用于提升CITISEN。上传在嘈杂环境中录制的一些音频样本，并用于在服务器上调整预训练的SE模型。最后，对于BNC，CITISEN首先通过SE模型去除背景噪声，然后将处理后的语音与新的背景噪声混合。新的BNC功能可以评估特定条件下的SE性能，覆盖人们的轨迹，并提供娱乐。实验结果证实了SE、MA和BNC函数的有效性。与含噪语音信号相比，增强后的语音信号在短时客观可懂度（STOI）和语音质量感知评价（PESQ）方面分别提高了约6%和33%。MA可使STOI和PESQ分别提高约6%和11%。最后，BNC实验结果表明，从噪声背景和无声背景转换的语音信号具有相近的场景识别精度，并且在声学场景分类模型中具有相似的嵌入。因此，提出的BNC可以有效地转换语音信号的背景噪声，并在干净的语音信号不可用时作为数据增强方法。
2022-04-25 cs.LG cs.SD eess.AS
Single-Microphone Speech Enhancement and Separation Using Deep Learning
鸡尾酒会问题包括理解复杂声学环境中的语音信号的挑战性任务，其中多个扬声器和背景噪声信号同时干扰感兴趣的语音信号。在这种复杂的声学情况下，能够有效地提高语音可懂度和语音信号的质量的信号处理算法是非常需要的。特别是对于涉及移动通信设备和听力辅助设备的应用。由于机器学习技术的重新出现，今天被称为深度学习，与这些算法相关的挑战可能会被克服。在这篇博士论文中，我们研究和开发了基于深度学习的技术，用于鸡尾酒会问题的两个子学科：单麦克风语音增强和单麦克风多说话者语音分离。具体而言，我们对基于现代深度学习的单麦克风语音增强算法的泛化能力进行了深入的实证分析。我们表明，这样的算法的性能是密切相关的训练数据，和良好的泛化能力，可以实现精心设计的训练数据。此外，我们提出了uPIT，一种基于深度学习的单麦克风语音分离算法，并报告了与说话者无关的多说话者语音分离任务的最新结果。此外，我们表明，uPIT工程以及联合语音分离和增强没有明确的先验知识的噪声类型或扬声器的数量。最后，我们表明，基于深度学习的语音增强算法，旨在最大限度地减少经典的短时谱幅度均方误差导致增强的语音信号，这是本质上最佳的STOI，一个国家的最先进的语音清晰度估计。
2018-12-04 cs.SD eess.AS
UNetGAN: A Robust Speech Enhancement Approach in Time Domain for Extremely Low Signal-to-noise Ratio Condition
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology（内蒙古蒙古文信息处理技术重点实验室）
极低信噪比下的语音增强是一个非常具有挑战性的问题，在以前的工作中很少研究。针对这一问题，提出了一种基于U-Net和生成对抗学习的鲁棒语音增强方法（UNetGAN）。该方法由一个发电机网络和一个直接在时域工作的同步网络组成。该生成器网络采用类U-Net结构，并在其瓶颈处采用扩张卷积，在公共基准测试中，对低信噪比（-20dB）下的UNetGAN性能进行了评估。结果表明，它显着提高了语音质量，并大大优于代表性的深度学习模型，包括SEGAN，cGAN for SE，双向LSTM使用相位敏感谱近似代价函数（PSA-BLSTM）和Wave-U-Net关于短时客观可懂度（STOI）和语音质量的感知评估（PESQ）。
2020-10-29 cs.SD eess.AS eess.SP
A Speech Enhancement Algorithm based on Non-negative Hidden Markov Model and Kullback-Leibler Divergence
Aalborg University（奥尔堡大学）；Capturi A/S（Capturi公司）
提出了一种基于Kullback-Leibler散度的非负矩阵分解（NMF）和隐马尔可夫模型（NMF-HMM）相结合的有监督单通道语音增强方法。隐马尔可夫模型的应用，可以考虑语音信号的时间动态信息。在训练阶段，Poisson的和，导致KL发散度量，被用作HMM每个状态的观察模型。这确保了计算上有效的乘法更新可以用于所提出的模型的参数更新。在在线增强阶段，我们提出了一种新的最小均方误差（MMSE）估计建议NMF-HMM。该估计器可以使用并行计算来实现，从而节省了时间复杂度。所提出的算法的性能进行了客观的措施。实验结果表明，该策略比现有的语音增强方法具有更好的语音增强性能。与传统的基于NMF的语音增强方法相比，该算法的短时客观可懂度（STOI）提高了5%，语音质量感知评价（PESQ）提高了0.18%.
2020-06-30 cs.SD eess.AS
LSTMSE-Net: Long Short Term Speech Enhancement Network for Audio-visual Speech Enhancement
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出LSTMSE-Net这一听觉语音增强方法，通过提取视觉特征并结合音频特征处理，利用多模态数据和插值技术提升性能，在SISDR、STOI、PESQ指标上超过2024年COG-MHEAR AVSE挑战赛基线模型。
2024-09-03 cs.LG cs.MM cs.SD
