Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich（苏黎世大学）；University of Tehran（德黑兰大学）
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合，用于构音障碍语音的识别、说话人识别和可懂度评估，并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Prediction of speech intelligibility with DNN-based performance measures
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出了一种基于自动语音识别（ASR）的语音可懂度模型，该模型结合了来自深度神经网络（DNN）的音素概率和从这些概率估计单词出错率的性能度量。该模型在测试过程中不需要干净的语音参考，也不需要单词标签，因为ASR解码步骤被省略，该步骤在给定音素后验概率的情况下找到最可能的单词序列。该模型通过从8个正常听力的听众的预测和观察到的语音接收阈值之间的均方根误差进行评估。识别任务包括从德国矩阵句子测试中识别噪声单词。语音材料与八个噪声掩蔽物混合，覆盖不同的调制类型，从语音形状的静态噪声到单个说话者掩蔽物。的预测性能进行比较，五个已建立的模型和一个ASR模型，使用单词标签。测试了功能和网络的两种组合。两者都包括在特征级（幅度调制滤波器组和前馈网络）或由架构（梅尔频谱图和时间延迟深度神经网络，TDNN）捕获的时间信息。TDNN模型与DNN相当，同时将参数数量减少了37倍;这种优化允许在专用助听器硬件上并行流，因为可以在每帧的10 ms内计算前向传递。该模型的性能几乎与基于标签的模型一样好，并且比基线模型产生更准确的预测。
2022-03-17 cs.AI cs.CL cs.LG
Automatic Estimation of Intelligibility Measure for Consonants in Speech
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在这篇文章中，我们提供了一个模型来估计一个真正的价值衡量个别语音段的可懂度。我们基于卷积神经网络（CNN）训练回归模型，用于与元音\textipa{/A/}相关的塞音\textipa{/p,t,k,b,d,g/}，以估计相应的信噪比（SNR），在该信噪比下，辅音-元音（CV）声音对于正常听力（NH）耳朵变得可理解。每个声音的可懂度度量称为SNR $_{90}$，定义为人类参与者能够平均至少90%正确识别辅音的SNR水平，如之前对NH受试者的实验所确定的。将CNN的性能与基于自动语音识别（ASR）的基线预测进行比较，具体地，从SNR中减去恒定偏移，在该恒定偏移处，ASR变得能够正确地标记辅音。与基线相比，我们的模型能够准确估计SNR $_{90}$ ~可懂度测量，平均均方误差（MSE）小于2 [dB $^2$ ]，而基线ASR定义的测量计算SNR $_{90}$ ~，方差为5.2至26.6 [dB $^2$ ]，具体取决于辅音。
2020-06-28 cs.CL cs.SD eess.AS
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音增强模型用于将含噪语音映射为干净语音。在训练阶段，通常采用目标函数来优化模型参数。然而，在大多数研究中，模型优化标准和增强语音的评价标准之间存在不一致。例如，在测量语音可懂度时，大多数评估度量是基于短时客观可懂度（STOI）测量，而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差（MMSE）。由于不一致性，无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中，我们提出了一个端到端的基于话语的语音增强框架，使用全卷积神经网络（FCN），以减少模型优化和评估标准之间的差距。由于基于话语的优化，当基于感知的目标函数用于直接优化时，可以考虑长语音段的时间相关信息，或者甚至在整个话语级。作为一个例子，我们实现了建议的FCN增强框架，以优化的STOI措施。实验结果表明，由于训练目标与评价目标的一致性，测试语音的STOI优于传统MMSE优化语音。此外，通过将STOI集成在模型优化中，与MMSE准则生成的语音相比，人类主体和自动语音识别（ASR）系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
InQSS: a speech intelligibility and quality assessment model using a multi-task learning network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
语音清晰度和质量评估模型是研究人员评估和改进语音处理模型的重要工具。然而，由于现有数据的限制，只有少数研究调查了多任务模型的可懂度和质量评估。在这项研究中，我们发布了TMHINT-QI，这是第一个记录了干净，嘈杂和增强话语的质量和可懂度分数的中文语音数据集。然后，我们提出了InQSS，一个非侵入式的多任务学习框架的可理解性和质量评估。我们在从头开始训练和预训练模型上评估了InQSS。实验结果证实了InQSS框架的有效性。此外，所得到的模型不仅可以预测可懂度分数，而且可以预测语音信号的质量分数。
2022-07-01 cs.LG cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition
Nanyang Technological University（南洋理工大学）
语音增强（speech enhancement，SE）的目的是抑制含噪语音信号中的加性噪声，以提高语音的感知质量和可懂度。然而，增强语音中的过抑制现象可能会降低下游的自动语音识别（ASR）任务的性能，由于丢失的潜在信息。为了缓解这个问题，我们提出了一个交互式的特征融合网络（IFF-Net）的噪声鲁棒语音识别学习互补的信息，从增强功能和原始的噪声功能。实验结果表明，该方法实现了绝对词错误率（WER）降低4.1%的最佳基线上的RATS EQUIPEL-A语料库。我们进一步的分析表明，建议的IFF-Net可以补充一些丢失的信息，在过度抑制的增强功能。
2022-04-08 cs.LG cs.SD eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；Academia Sinica（中央研究院）
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中，我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失，其约束条件是在修改之前和之后保持语音信号的均方根（RMS）水平和持续时间。具体来说，我们利用iMetricGAN方法来优化生成对抗网络（GANs）的语音可懂度指标。实验结果表明，所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施，即，在食堂噪声条件下，以比特为单位的语音可懂度（SIIB）和扩展的短时客观可懂度（ESTOI）。此外，正式的听力测试显示显着的清晰度增益时，噪音和混响存在。
2020-04-07 cs.SD eess.AS
STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
大多数客观的语音清晰度评估指标的计算需要干净的语音作为参考。这种要求可能会限制这些指标在现实世界场景中的适用性。为了克服这一限制，我们提出了一种基于深度学习的非侵入式语音可懂度评估模型，即STOI-Net。STOI-Net的输入和输出分别是语音频谱特征和预测的STOI分数。该模型是由一个卷积神经网络和双向长短期记忆（CNN-BLSTM）架构与乘法注意力机制的组合。实验结果表明，由STOI-Net估计的STOI分数与实际的STOI分数有很好的相关性时，测试与噪声和增强的语音话语。相关值分别为0.97和0.83，对于可见的测试条件（测试扬声器和噪声类型涉及训练集）和不可见的测试条件（测试扬声器和噪声类型不涉及训练集）。结果证实了STOI-Net在不参考干净语音的情况下准确预测STOI分数的能力。
2020-11-09 cs.LG cs.SD eess.AS
Enhancement of Spatial Clustering-Based Time-Frequency Masks using LSTM Neural Networks
The Graduate Center, City University of New York（纽约城市大学研究生中心）；Brooklyn College, City University of New York（纽约城市大学布鲁克林学院）
最近的工作表明，使用LSTM架构的深度递归神经网络可以通过估计时频掩码来实现强大的单通道语音增强。然而，这些模型不能自然地推广到来自不同麦克风配置的多声道输入。相比之下，空间聚类技术可以实现这样的推广，但缺乏一个强大的信号模型。我们的工作建议将这两种方法结合起来。通过使用LSTM来增强基于时频掩模的空间聚类，我们实现了多个单通道LSTM-DNN语音增强器的信号建模性能和多通道空间聚类的信号分离性能和通用性。我们将我们提出的系统与CHiME-3数据集上的几个基线进行了比较。我们使用BSS\_eval工具包和PESQ中的SDR评估每个系统的音频质量。我们使用Kaldi自动语音识别器的单词出错率来评估每个系统输出的可懂度。
2020-12-02 cs.LG cs.SD eess.AS
Late reverberation suppression using U-nets
Universidad de Chile（智利大学）
在现实世界的设置中，语音信号几乎总是受到由工作环境产生的混响的影响;这些被破坏的信号在执行之前需要被\emph{dereverberated}，例如，语音识别、语音到文本转换、压缩或一般音频增强。在本文中，我们提出了一种监督去混响技术，使用\emph{U-nets with skip connections}，这是完全卷积的编码器-解码器网络的层排列的形式的“U”和连接，“跳过”一些层。在此架构的基础上，我们通过后期混响抑制（LS）的镜头来解决语音去混响。通过对具有不同噪声水平和混响设置的合成和真实数据的实验，我们表明，与原始U-net方法相比，我们提出的称为“LS U-net”的方法提高了质量，可懂度和其他性能指标，并且与最先进的基于GAN的方法相当。
2021-10-05 cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology（南方科技大学）
本文提出 MBI-Net+，通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标，在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线，提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics（国立情报学研究所）；SOKENDAI（综合研究大学院大学）
在环境噪声和混响的存在下，语音的可懂度严重降低。在本文中，我们提出了一种新的基于深度学习的系统，用于修改语音信号以在等功率约束下提高其可懂度，即，修改前后的信号功率必须相同。为了实现这一点，我们使用生成对抗网络（GANs）来获得时频相关的放大因子，然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络（DNN）模型，以同时优化多个高级语音指标，而不是只优化一个简单的指标，包括与清晰度和质量相关的指标，从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放，但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明，该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
A convolutional neural-network model of human cochlear mechanics and filter tuning for real-time applications
Ghent University（根特大学）
听觉模型通常被用作自动语音识别系统的特征提取器，或者用作机器人、机器听力和助听器应用的前端。虽然听觉模型可以非常详细地捕获人类听觉的生物物理和非线性特性，但这些生物物理模型在计算上是昂贵的，并且不能用于实时应用。我们提出了一种混合方法，其中卷积神经网络与计算神经科学相结合，以产生人类耳蜗力学的实时端到端模型，包括电平相关滤波器调谐（CoNNear）。在声学语音材料上训练CoNNear模型，并使用耳蜗力学研究中常用的（看不见的）声音刺激来评估其性能和适用性。CoNNear模型准确地模拟了人类耳蜗的频率选择性及其对声音强度的依赖性，这是在负语音与背景噪声比下实现鲁棒语音清晰度的基本品质。CoNNear架构基于并行和可微分计算，具有实现实时人类性能的能力。这些独特的CoNNear功能将使下一代类人机器听觉应用成为可能。
2020-12-04 cs.CE cs.LG cs.SD
Enhancing the Intelligibility of Cleft Lip and Palate Speech using Cycle-consistent Adversarial Networks
唇腭裂是一种先天性的颅面畸形，可导致多种语言障碍。由于结构和功能畸形，受影响的受试者的语音清晰度显著降低，限制了语音控制设备的可访问性和可用性。为了解决这个问题，需要提高CLP语音清晰度。此外，它在语言治疗期间也很有用。在这项研究中，周期一致的对抗网络（CycleGAN）方法被用来提高CLP语音可懂度。该模型是在本地卡纳达语儿童的语音数据上训练的。所提出的方法的有效性也衡量使用自动语音识别性能。此外，进行主观评价，并且这些结果也证实了增强语音中的可懂度相对于原始语音的改善。
2021-01-30 eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
Improving the Intelligibility of Electric and Acoustic Stimulation Speech Using Fully Convolutional Networks Based Speech Enhancement
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
电声联合刺激（EAS）已被证明比传统人工耳蜗（CI）更好的语音识别，并在安静条件下产生令人满意的性能。然而，当涉及噪声信号时，电信号和声信号都可能失真，从而导致差的识别性能。为了抑制噪声影响，语音增强（SE）是EAS设备中的必要单元。近年来，基于短时客观可懂度（STOI）目标函数的全卷积神经网络（FCN）的时域语音增强算法（简称FCN（S））因其结构简单且能有效地从有噪语音中恢复干净的语音信号而受到越来越多的关注。有证据表明FCN（S）对正常语音的好处，本研究旨在评估其提高EAS模拟语音可懂度的能力。通过客观评价和听力测试，研究了FCN（S）在噪声环境中提高正常语音和声编码语音清晰度的性能。实验结果表明，与传统的最小均方误差自估计方法和深度去噪自编码自估计方法相比，FCN（S）算法在语音清晰度方面具有更好的增益。这项研究是第一个评估EAS的深度学习SE方法的研究，证实了FCN（S）是一种有效的SE方法，可以集成到EAS处理器中，使用户在嘈杂的环境中受益。
2019-09-26 cs.SD eess.AS
Speech Intelligibility Assessment of Dysarthric Speech by using Goodness of Pronunciation with Uncertainty Quantification
Seoul National University（首尔国立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出结合不确定性量化的改进GoP方法，通过音素预测归一化和评分函数修改提升构音障碍语音可懂度评估性能，在英语、韩语和泰米尔语上均优于基线，并分析了与可懂度显著相关的音素。
2023-05-28 cs.LG cs.SD eess.AS
An Attention Long Short-Term Memory based system for automatic classification of speech intelligibility
Universidad Carlos III de Madrid（卡洛斯三世大学）
本研究提出一种基于注意力LSTM和非侵入式方法的语音可懂度自动分类系统，利用对数梅尔频谱图特征，在UA-Speech数据库上优于SVM和均值池化LSTM基线。
2024-02-05 cs.LG cs.SD eess.AS
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Wideband Audio Waveform Evaluation Networks: Efficient, Accurate Estimation of Speech Qualities
Institute for Telecommunication Sciences（电信科学研究所）
WAWEnets是直接处理宽带音频波形的无参考卷积神经网络，本文更新了其架构，提出三个分别用于跟踪客观质量、主观维度及主观评分的网络，并利用多语言大规模数据验证了其高效性与准确性。
2023-11-17 cs.LG cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
最近的研究强调了对抗性示例是对基于深度神经网络（DNN）的语音识别系统的普遍威胁。在这项工作中，我们提出了一个基于U-Net的注意力模型，U-Net $_{At}$，以增强对抗性语音信号。具体来说，我们通过可解释的语音识别指标来评估模型性能，并通过增强的对抗训练来讨论模型性能。我们的实验表明，在对抗性语音示例的语音增强任务中，我们提出的U-Net $_{At}$将语音质量感知评价（PESQ）从1.13提高到2.78，语音传输指数（STI）从0.65提高到0.75，短期客观可懂度（STOI）从0.83提高到0.96。我们进行实验的自动语音识别（ASR）的任务与敌对的音频攻击。我们发现（i）注意力网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性;（ii）基于DNN的ASR模型的泛化能力可以通过应用对抗性训练和添加性对抗性数据增强来增强。单词错误率（WER）的ASR度量显示，在基于梯度的扰动下，$\%$的绝对值下降了2.22 $\%$，在进化优化的扰动下，$\%$的绝对值下降了2.03 $\%$，这表明我们的对抗训练增强模型可以进一步确保弹性ASR系统。
2022-01-01 cs.CL cs.CR cs.LG
IANS: Intelligibility-aware Null-steering Beamforming for Dual-Microphone Arrays
本文提出IANS框架，结合零陷波束形成与STOI-Net可懂度预测模型，在无需DOA、RTF或协方差矩阵等先验知识的情况下，利用双麦克风阵列提升语音可懂度，实验效果与已知DOA的零陷波束形成器相当。
2023-07-09 eess.AS eess.SP
Restoring speech intelligibility for hearing aid users with deep learning
Audatic（Audatic公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Technische Universität Berlin（柏林工业大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
全世界近5亿人患有致残性听力损失。虽然助听器可以部分弥补这一点，但很大一部分用户在有背景噪音的情况下难以理解语音。在这里，我们提出了一种基于深度学习的算法，该算法在保持语音信号的同时选择性地抑制噪声。该算法将助听器用户的语音清晰度恢复到正常听力的对照受试者的水平。它由一个深度网络组成，该网络在噪声语音信号的大型自定义数据库上进行训练，并通过神经架构搜索进行进一步优化，使用基于深度学习的语音清晰度度量。该网络在一系列人工分级评估中实现了最先进的去噪，在不同的噪声类别中进行推广，并且与经典的波束成形方法相比，它在单个麦克风上运行。该系统可在笔记本电脑上实时的运行，这表明助听器芯片的大规模部署可能在几年内实现。因此，基于深度学习的去噪有可能很快改善数百万听力受损者的生活质量。
2022-06-23 cs.SD eess.AS q-bio.NC
Deep Learning for Distant Speech Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
深度学习是一种新兴技术，被认为是达到更高水平的人工智能的最有前途的方向之一。在其他成就中，建造能够理解语音的计算机代表了向智能机器的关键飞跃。然而，尽管过去几十年来做出了巨大的努力，但自然和鲁棒的人机语音交互似乎仍然遥不可及，特别是当用户在嘈杂和混响的环境中与远处的麦克风交互时。后一种干扰严重妨碍语音信号的可理解性，使得远程语音识别（DSR）成为该领域中的主要公开挑战之一。本文针对后一种情况，提出了一些新的技术，架构和算法，以提高远程通话声学模型的鲁棒性。我们首先阐述了现实数据污染的方法，特别强调DNN训练与模拟数据。然后，我们调查的方法，更好地利用语音上下文，提出了一些原始的前馈和递归神经网络的方法。最后，受不同DNN之间的合作可能是抵消噪声和混响有害影响的关键这一想法的启发，我们提出了一种新的深度学习范式，称为深度神经网络的网络。原始概念的分析是基于对真实和模拟数据进行的广泛实验验证，考虑不同的语料库，麦克风配置，环境，嘈杂的条件和ASR任务。
2017-12-17 cs.CL cs.SD eess.AS
On combining acoustic and modulation spectrograms in an attention LSTM-based system for speech intelligibility level classification
Universidad Carlos III de Madrid（卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）
本文基于注意力LSTM系统，提出用逐帧调制频谱图替代紧凑特征，并探索晚期与加权池化两种融合策略，在UA-Speech上验证了互补性，其中WP融合加注意力池化效果最佳。
2024-02-05 cs.LG eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction from Discrete Latent Representations
Durham University（杜伦大学）；OFFIS e.V. Institute for Information Technology（奥菲斯信息技术研究所）
从双耳信号的非侵入式语音可懂度（SI）预测在许多应用中是有用的。然而，大多数现有的基于信号的测量被设计为应用于单通道信号。专门设计用于考虑信号的双耳特性的措施通常是侵入性的-其特征在于需要访问干净的语音信号-并且通常依赖于在进行预测之前将两个声道组合成单声道信号。本文提出了一种非侵入性的SI措施，计算从一个双耳输入信号的特征，使用矢量量化（VQ）和对比预测编码（CPC）的方法相结合。VQ-CPC特征提取不依赖于听觉系统的任何模型，而是被训练以最大化输入信号和输出特征之间的互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测函数。本文考虑了两个预测函数。特征提取器和预测函数都在具有各向同性噪声的模拟双耳信号上训练。他们进行了测试与各向同性和真实噪声的模拟信号。对于所有信号，地面实况分数是（侵入式）确定性双耳ST 0 I。结果的相关性和MSE方面，并表明，VQ-CPC功能能够捕获相关的建模SI和优于所有考虑的基准-即使在评估的数据，包括不同的噪声场类型。
2022-03-21 cs.LG cs.SD eess.AS
Recycling an anechoic pre-trained speech separation deep neural network for binaural dereverberation of a single source
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）；Qatar University（卡塔尔大学）；MCS, NUST（巴基斯坦国立科技大学军事学院）
混响导致正常和听力受损的听众的可懂度降低。本文提出了一种新的心理声学方法去混响的单一的语音源，回收一个预先训练的双耳消声语音分离神经网络。由于训练深度神经网络（DNN）是一个漫长且计算昂贵的过程，因此使用预训练的分离网络进行去混响的优点是网络不需要重新训练，从而节省了时间和计算资源。混响源的耳间线索被给予这个预先训练的神经网络，以区分直接路径信号和混响语音。实验结果表明，信号可懂度平均提高了1.3%，SRMR平均提高了0.83dB（信号与混响能量比）和语音质量感知评估（PESQ）中的0.16分，超过其他最先进的信号处理去混响算法，并且在可懂度上为14%，在质量上为0.35分，超过具有谱减法的正交匹配追踪（OSS），基于机器学习的去混响算法。
2022-08-09 cs.SD eess.AS
An Objective Intelligibility Metric Evaluation on Spanish Speech
University of Granada（格拉纳达大学）；Aalborg University（奥尔堡大学）；Oticon A/S（奥蒂康公司）
研究在西班牙语语音可懂度数据集SpInt上评估五个基于参考的和两个基于深度学习的无参考客观可懂度度量，发现基于参考的度量表现更优，因开发时未接触西班牙语数据，无参考方法受训练测试声学不匹配影响大，故发布SpInt以推动相关研究。
2026-07-14 eess.AS
French Listening Tests for the Assessment of Intelligibility, Quality, and Identity of Body-Conducted Speech Enhancement
本研究通过法语听力测试评估EBEN模型在骨导语音中的表现，证实其能提升语音质量与可懂度，并揭示了STOI与感知质量的相关性及现有指标在预测可懂度上的局限性。
2025-06-04 eess.AS
Dynamic Processing Neural Network Architecture For Hearing Loss Compensation
Poznan University of Technology（波兹南理工大学）；Eriksholm Research Center（埃里克肖姆研究中心）；Tampere University（坦佩雷大学）
提出一种可微且可解释的dynamic processing network用于补偿感音神经性听力损失，该网络通过学习参数最大化语音可懂度，与卷积网络结合后在STOI和HASPI指标上取得最佳结果。
2023-10-25 cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
Towards Generalized Speech Enhancement with Generative Adversarial Networks
Amazon Research（亚马逊研究院）
语音增强的任务通常包括去除加性噪声或混响，这些噪声或混响部分掩盖了口语，影响了它们的可懂度。然而，很少有人注意到其他的，也许更积极的信号失真，如削波，块消除，或频带去除。这种失真不仅对可懂度，而且对自然度甚至说话人身份都有很大的影响，并且需要仔细的信号重建。在这项工作中，我们充分考虑了这种广义的语音增强任务，并表明它可以用时域生成对抗网络（GAN）来解决。特别是，我们扩展了以前的基于GAN的语音增强系统，以处理四种类型的侵略性失真的混合物。首先，我们提出了一个对抗性的声学回归损失，促进了更丰富的特征提取的边缘。其次，我们还使用了两步对抗训练计划，作为热身和微调序列。客观和主观评价表明，这两个增加带来了改进的语音重建，更好地匹配原始扬声器的身份和自然。
2019-04-06 cs.LG cs.SD eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
On the Interplay Between Sparsity, Naturalness, Intelligibility, and Prosody in Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；National Institute of Informatics（日本国立信息学研究所）
端到端的文本到语音（TTS）模型是否过度参数化？这些模型可以被修剪到什么程度，它们的合成能力会发生什么变化？这项工作作为一个起点，探索修剪频谱预测网络和声码器。我们彻底调查稀疏性及其后续影响之间的权衡合成语音。此外，我们还探讨了TTS修剪的几个方面：微调数据量与稀疏性，TTS增强以利用未说出的文本，以及结合知识蒸馏和修剪。我们的研究结果表明，不仅是端到端的TTS模型高度prunable，而且，也许令人惊讶的是，修剪TTS模型可以产生合成语音具有相同或更高的自然度和可理解性，具有类似的韵律。我们所有的实验都是在公开的模型上进行的，这项工作的发现得到了大规模主观测试和客观测量的支持。代码和200修剪模型，以方便未来的研究在TTS的效率。
2021-10-28 cs.CL cs.SD eess.AS
Speech Enhancement via Deep Spectrum Image Translation Network
Buein Zahra Technical University（布因扎赫拉理工大学）
语音信号的质量和可懂度在加性背景噪声下会降低，这是助听器和人工耳蜗使用者面临的一个关键问题。为了解决这个问题，我们提出了一种新的语音增强方法，使用深谱图像翻译网络。为此，我们提出了一种名为VGG 19-UNet的新架构，其中称为VGG 19的深度全卷积网络嵌入在图像到图像转换网络（即U-Net）的编码器部分。此外，我们提出了一个感知修改版本的频谱图像，表示在梅尔频率和幂律非线性幅度域，代表良好的近似人类听觉感知模型。通过对语音增强中的一个真正的挑战，即看不见的噪声环境进行实验，我们表明，所提出的方法优于其他增强方法的质量和可懂度的措施，分别由PESQ和ESTOI表示。
2019-11-05 cs.SD eess.AS
Binaural Speech Enhancement Using Deep Complex Convolutional Transformer Networks
针对嘈杂环境下助听设备的双耳语音增强需求，提出融合编码器-解码器架构复值卷积网络与复值多头注意力Transformer的方法，采用兼顾空间信息保留等的新型损失函数训练，在多种噪声场景下相比基线算法更优。
2024-03-08 eess.AS
Image to Image Translation based on Convolutional Neural Network Approach for Speech Declipping
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Tehran（德黑兰大学）；Buein Zahra Technical University（布因扎赫拉科技大学）
限幅作为一种常见的非线性失真，由于录音机动态范围的限制而经常发生。它降低了语音质量和可懂度，并对语音和说话人识别的性能产生不利影响。在本文中，我们专注于通过使用全卷积神经网络作为U-Net来增强削波语音。受图像到图像平移思想的启发，本文提出了一种去削方法，即U-Net去削器，将削波信号的幅度谱图像平移到干净信号的相应图像上。实验结果表明，该方法优于其他去唇方法的质量和可懂度的措施，特别是在严重的削波情况下。此外，在加性高斯噪声条件下，U-Net的declipper的性能优于著名的declipping方法进行了验证。
2019-10-26 cs.SD eess.AS
TorchAudio-Squim: Reference-less Speech Quality and Intelligibility measures in TorchAudio
本文介绍了TorchAudio-Squim工具，利用深度神经网络以无参考方式估计语音的客观和主观质量指标，为语音处理研究提供便捷的评估手段。
2023-04-04 eess.AS
Binaural Speech Enhancement Using Complex Convolutional Recurrent Networks
提出一种基于编码器-解码器与复数 LSTM 的端到端复数卷积循环网络，通过兼顾空间信息保留的损失函数估计左右耳复数比率掩膜，在单说话人各向同性噪声场景中提升可懂度、降噪并保留空间信息。
2025-07-26 eess.AS eess.SP
Deep Learning-based Non-Intrusive Multi-Objective Speech Assessment Model with Cross-Domain Features
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Microsoft（微软）；Southern University of Science and Technology of China（南方科技大学）
提出跨域多目标语音评估模型MOSA-Net，通过同时预测多种指标超越单任务模型，并利用其潜在表示指导语音增强，在客观和定性评估中均取得显著提升。
2024-12-19 cs.LG cs.SD eess.AS
Improving Perceptual Quality by Phone-Fortified Perceptual Loss using Wasserstein Distance for Speech Enhancement
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Institute of Information and Communications Technology（日本信息通信研究机构）
语音增强（SE）旨在提高语音质量和可懂度，这两者都与可能携带语言信息的语音片段（例如音素和音节）的平滑过渡有关。在这项研究中，我们提出了一种新的电话强化知觉损失（PFPL），考虑到语音信息的训练SE模型。为了有效地结合语音信息，PFPL是基于wav 2 vec模型的潜在表示来计算的，wav 2 vec模型是一种强大的自监督编码器，可以呈现丰富的语音信息。为了更准确地度量潜在表征的分布距离，PFPL采用Wasserstein距离作为距离度量。我们的实验结果首先揭示了PFPL是更相关的感知评估指标，相比信号电平损失。此外，结果表明，PFPL可以使深度复杂的U-Net SE模型在Voice Bank-DEMAND数据集的标准化质量和可懂度评估方面实现极具竞争力的性能。
2021-04-27 cs.LG cs.SD eess.AS
Single channel speech enhancement by colored spectrograms
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）；College of Engineering, Qatar University（卡塔尔大学工程学院）；National Center of Artificial Intelligence（国家人工智能中心）
本文提出基于彩色频谱图和 pix2pix GAN 的单通道语音增强方法，以极低计算成本取得与基线相当的 PESQ 和 STOI 提升。
2023-10-26 cs.SD eess.AS
Leveraging Self-Supervised Audio-Visual Pretrained Models to Improve Vocoded Speech Intelligibility in Cochlear Implant Simulation
针对人工耳蜗仿真中训练数据有限的视听语音增强问题，提出融合 AV-HuBERT 与 BLSTM 的 SSL-AVSE 框架，显著提升客观语音质量、可懂度及动态噪声下表现。
2025-10-04 eess.AS
Audio-Visual Speech Enhancement in Noisy Environments via Emotion-Based Contextual Cues
School of Computing, Edinburgh Napier University（爱丁堡龙比亚大学计算学院）；Center for Information Technology and Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出一种情感感知的音视频语音增强系统，通过从面部关键点提取情感特征并与音视频模态融合，输入基于UNet的编码器-解码器网络，在CMU-MOSEI数据集上验证了情感上下文线索能显著提升噪声环境下的语音质量和可懂度。
2024-02-26 cs.SD eess.AS
A Study on Incorporating Whisper for Robust Speech Assessment
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Columbia University（哥伦比亚大学）；NVIDIA（英伟达公司）
本研究提出结合大规模弱监督模型 Whisper 的声学特征增强多目标语音评估模型 MOSA-Net+，实验证明其在 TMHINT-QI 数据集和 VoiceMOS Challenge 2023 中均取得显著的性能提升与顶级排名。
2024-04-29 cs.SD eess.AS
Cellular Network Speech Enhancement: Removing Background and Transmission Noise
Carnegie Mellon University（卡内基梅隆大学）
语音增强的主要目标是在保留目标语音的同时降低背景噪声。当说话者被限制在嘈杂的环境中并且接收具有高背景和传输噪声的呼叫时，常见的困境发生。为了解决这个问题，深度噪声抑制（DNS）挑战赛的重点是使用下一代深度学习模型消除背景噪声，以增强目标的语音;然而，研究人员未能考虑IP语音（VoIP）应用的传输噪声。我们专注于Google Meet及其蜂窝应用程序，在VoIP DNS挑战赛的Google Meet To Phone Track上实现了最先进的性能。本文演示了如何击败工业性能，实现1.92 PESQ和0.88 STOI，以及各种指标的卓越声学保真度，感知质量和可懂度。
2023-01-22 cs.LG cs.SD eess.AS
Using recurrences in time and frequency within U-net architecture for speech enhancement
StethoMe（StethoMe公司）；Poznan University of Technology（波兹南理工大学）
当设计全卷积神经网络时，在网络的较深层中的感受野大小、参数数量和特征的空间分辨率之间存在折衷。在这项工作中，我们提出了一种新的网络设计，基于许多卷积层和递归层的组合，解决了这些难题。我们比较我们的解决方案与U-网为基础的模型，从文献和其他基线模型的语音增强任务。我们测试我们的解决方案TIMIT语音话语结合噪声段从NOISEX-92数据库中提取的SDR（信号失真比），SIR（信号干扰比）和STOI（光谱时间客观可懂度）指标相比，目前最先进的提出的解决方案具有明显的优势。
2018-11-16 cs.LG cs.SD eess.AS
Multi-Channel Speech Denoising for Machine Ears
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）；Google Research（谷歌研究院）
这项工作描述了一个语音降噪系统的机器耳朵，旨在提高语音清晰度和整体的听力体验在嘈杂的环境。我们记录了大约100个小时的音频数据与混响和适度的环境噪声使用一对麦克风阵列放置在每一个耳朵，然后混合录音，以模拟不利的声学场景。然后，我们在混合录音上训练了一个多通道语音去噪网络（MCSDN）。为了改进训练，我们采用了一种无监督的方法，复角中心高斯混合模型（cACGMM），从嘈杂的录音中获取更清晰的语音作为学习目标。在推理阶段，我们提出了MCSDN-Beamforming-MCSDN框架。主观评价的结果表明，cACGMM改善了训练数据，从而产生更好的降噪效果和用户偏好，整个系统提高了嘈杂环境下的可懂度和收听体验。
2022-02-17 cs.SD eess.AS eess.SP
Learning with Learned Loss Function: Speech Enhancement with Quality-Net to Improve Perceptual Evaluation of Speech Quality
National Taiwan University（台湾大学）
利用与人的感知相关的目标函数来训练语音增强模型是近年来的一个热门课题。主要原因是传统的均方误差（MSE）损失不能很好地代表听觉感知。一个典型的人类感知相关的度量，这是语音质量的感知评价（PESQ），已被证明提供了一个高度相关的质量评分由人类。然而，由于其复杂和不可微的特性，PESQ函数可能无法直接用于优化语音增强模型。在这项研究中，我们提出了优化增强模型与近似PESQ函数，这是可微的，从训练数据学习。实验结果表明，学习的代理函数可以指导增强模型进一步提高PESQ分数（与MSE损失训练结果相比提高0.18分），并保持语音清晰度。
2019-11-14 cs.LG cs.SD eess.AS
