Rethinking complex-valued deep neural networks for monaural speech enhancement
Meta
尽管针对采用复值深度神经网络（DNN）做出了多种努力，但对于单声道语音增强，复值DNN通常是否比实值DNN更有效仍然是一个悬而未决的问题。这项工作致力于通过系统地检查复值DNN与实值DNN的对比来进行关键评估。具体来说，我们研究了复值DNN原子单元，包括线性层、卷积层、长短期记忆（LSTM）和门控线性单元。通过比较最近开发的门控卷积递归网络（GCRN）中基本构建块的复值和实值版本，我们展示了基本块的不同机制如何影响性能。我们还发现，使用复值操作阻碍了模型容量时，模型的大小是小的。此外，我们还研究了两种最近的复值DNN，即深度复卷积递归网络（DCCRN）和深度复U网（DCUNET）。评估结果表明，这两个DNN产生相同的性能，他们的实值同行，但需要更多的计算。基于这些全面的比较，我们得出结论，复值DNN不提供性能增益超过其实值对应的单声道语音增强，因此是不太可取的，由于其较高的计算成本。
2023-01-11 cs.LG cs.SD eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University（名古屋大学）
基于深度神经网络（DNN）的语音增强通常使用干净的语音作为训练目标。然而，很难收集大量干净的语音，因为录音成本很高。换句话说，当前语音增强的性能受到训练数据量的限制。为了放宽该限制，已经提出了利用噪声语音作为训练目标的噪声目标训练（NyTT）。虽然实验表明，NyTT可以训练DNN而无需干净的语音，但尚未进行详细的分析，并且其行为尚未得到很好的理解。在本文中，我们进行各种分析，以加深我们对NyTT的理解。此外，基于NyTT的属性，我们提出了一种改进的方法，该方法与使用干净语音的方法相当。此外，我们表明，我们可以提高性能，通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
On the Role of Spatial, Spectral, and Temporal Processing for DNN-based Non-linear Multi-channel Speech Enhancement
与将线性空间滤波器与独立的时间谱后滤波器相结合的传统方法相比，使用深度神经网络（DNN）直接学习滤波器以进行多通道语音增强可能具有两个关键优势：1）非线性空间滤波允许克服源自线性处理模型的潜在限制，以及2）空间和节奏的联合处理。光谱信息允许利用不同信息源之间的相互依赖性。最近已经提出了各种基于DNN的非线性滤波器，据报道，这些滤波器具有良好的增强性能。然而，很少有人知道的内部机制，把网络架构设计成一个游戏的机会。因此，在本文中，我们进行了实验，以更好地理解基于DNN的非线性滤波器对空间、光谱和时间信息的内部处理。一方面，我们在困难的语音提取场景中的实验证实了非线性空间滤波的重要性，其性能优于Oracle线性空间滤波器0.24 POLQA得分。另一方面，我们证明了联合处理的结果在一个大的性能差距0.4 POLQA得分网络架构之间利用光谱与时间信息，除了空间信息。
2022-06-22 cs.LG cs.SD eess.AS
Invertible DNN-based nonlinear time-frequency transform for speech enhancement
Waseda University（早稻田大学）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
提出了一种基于可逆深度神经网络的可训练时频变换的端到端语音增强方法。动态神经网络是语音增强的最新发展。普通的基于DNN的语音增强采用T-F变换，典型的是短时傅里叶变换~（STFT），并且使用DNN来估计T-F掩模。另一方面，一些方法考虑了端到端网络，其直接估计增强的信号而无需T-F变换。虽然端到端方法已经显示出有希望的结果，但它们是黑匣子，难以理解。因此，一些端到端方法使用DNN来学习线性T-F变换，这更容易理解。然而，学习的变换可能不具有对于普通信号处理重要的性质。本文研究了T-F变换的一个重要性质--完全重构。通过DNN构造可逆的非线性T-F变换，并从数据中学习，使得所获得的变换是完美的重构滤波器组。
2020-02-14 cs.SD eess.AS
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）
本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。
2022-03-11 cs.AI cs.LG cs.SD
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
DNN-Based Speech Presence Probability Estimation for Multi-Frame Single-Microphone Speech Enhancement
University of Oldenburg（奥尔登堡大学）
用于单麦克风语音增强的多帧方法，多帧最小功率无失真响应（MFMPDR）滤波器能够利用相邻时间帧上的语音相关性。与诸如维纳增益的单帧方法相比，已经示出，多帧方法实现了几乎没有任何语音失真的实质性噪声降低，只要相关矩阵的准确估计，特别是语音帧间相关（IFC）向量是可用的。IFC向量的典型估计过程需要估计每个时频（TF）仓中的语音存在概率（SPP）。在本文中，我们建议使用双向长短期记忆深度神经网络（DNN）来估计每个TF bin的SPP。为了实现鲁棒性能，DNN针对各种噪声类型和大信噪比范围进行训练。实验结果表明，MFMPDR与建议的数据驱动的SPP估计相结合，产生了一个国家的最先进的基于模型的SPP估计相比，提高了语音质量。此外，它被证实，利用帧间相关性的MFMPDR是有益的相比，维纳增益，特别是在不利的情况下。
2022-11-14 cs.SD eess.AS
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra（庞培法布拉大学）；Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Microson, Amplifon Group（Amplifon集团Microson公司）
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能，通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验，证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
SNR-Based Teachers-Student Technique for Speech Enhancement
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology（内蒙古蒙古文信息处理技术重点实验室）
语音增强方法如何同时在高信噪比和低信噪比下获得鲁棒性能是一个非常具有挑战性的问题。在本文中，我们提出了一种方法，集成了基于信噪比的师生技术和时域U网来处理这个问题。具体来说，该方法由多个教师模型和一个学生模型组成。我们首先在多个互不重合的小范围SNR下对教师模型进行训练，使其能够在特定的SNR范围内很好地进行语音增强。然后，根据训练数据的信噪比选择不同的教师模型来监督学生模型的训练。最后，学生模型可以在高信噪比和低信噪比下进行语音增强。为了评估所提出的方法，我们基于公共数据集构建了一个SNR范围从-20 dB到20 dB的数据集。我们实验分析了基于信噪比的师生技术的有效性，并将所提出的方法与几种最先进的方法进行了比较。
2020-10-29 cs.CL cs.SD eess.AS
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology（格拉茨技术大学）；Ruperts Karls University（海德堡大学）
虽然机器学习技术传统上是资源密集型的，但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中，我们提供了一种基于深度神经网络（DNN）的多通道语音增强的资源高效方法。特别是，我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应（MVDR）或广义特征值（GEV）波束形成器。在二进制权重和精度降低的激活的极端情况下，可以显著减少执行时间和内存占用，同时仍然获得几乎与单精度DNN相当的音频质量，并且使用WSJ0语音语料库的单个说话者场景的字错误率（WER）略高。
2020-07-22 cs.LG cs.SD eess.AS
Stable Training of DNN for Speech Enhancement based on Perceptually-Motivated Black-Box Cost Function
National Institute of Technology, Tokuyama College（国立技术院德山高专）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Waseda University（早稻田大学）
提高增强信号的主观音质是语音增强的重要任务之一。为了评估主观质量，已经提出了与感知激励的客观声音质量评估（OSQA）相关的几种方法，诸如PESQ（语音质量的感知评估）。然而，在大多数情况下，不允许直接使用这些测量来训练深度神经网络（DNN），因为流行的OSQA对于DNN参数是不可微的。因此，先前的研究提出了通过辅助DNN来近似OSQA的得分，以便其梯度可以用于训练主DNN。这种方法的一个问题是由分数的近似误差引起的训练不稳定。为了克服这个问题，我们建议使用从强化学习中借用的稳定技术。以提高PESQ得分为例进行的实验表明，所提出的方法（i）可以稳定地训练DNN以提高PESQ，（ii）在公共数据集上实现了最先进的PESQ得分，（iii）比基于主观评价的传统方法产生了更好的声音质量。
2020-02-14 cs.LG cs.SD eess.AS
Frequency bin-wise single channel speech presence probability estimation using multiple DNNs
Aalborg University（奥尔堡大学）
在这项工作中，我们提出了一种频率分箱方法，在短时傅里叶变换域中使用多个深度神经网络（DNN）来估计单通道语音存在概率（SPP）。由于所有频率仓通常同时被认为是传统的基于DNN的SPP估计器的输入特征，因此高模型复杂性是不可避免的。为了降低模型的复杂度和对训练数据的要求，我们考虑单个频率点和它的一些相邻频率点来训练分离的门递归单元。此外，噪声的语音和后验概率SPP表示被用来训练我们的模型。这些实验是在Deep Noise Suppression挑战数据集上进行的。实验结果表明，采用频域模型可以提高语音检测的准确率。最后，我们还证明了我们提出的方法优于大多数国家的最先进的SPP估计方法的语音检测精度和模型的复杂性。
2023-02-23 cs.SD eess.AS
Phase-Aware Deep Speech Enhancement: It's All About The Frame Length
Universität Hamburg（汉堡大学）
语音处理中的语音延迟主要由用于傅立叶分析的帧长度决定，这反过来限制了以幅度为中心的方法的可实现性能。由于先前的研究表明相位的重要性随着帧长度的减小而增加，因此本文系统地研究了不同帧长度下基于现代深度神经网络（DNN）的语音增强中相位和幅度的贡献。结果表明，DNN在使用短帧时可以成功地估计相位，与使用较长帧相比，具有相似或更好的整体性能。因此，有趣的是，现代相位感知DNN允许高质量的低延迟语音增强。
2022-10-04 cs.LG cs.SD eess.AS
GMM based multi-stage Wiener filtering for low SNR speech enhancement
The Australian National University（澳大利亚国立大学）
本文提出了一种单通道语音增强方法，用于在低信噪比和非平稳噪声条件下对语音进行降噪和增强。具体来说，我们专注于使用高斯混合模型（GMM）的基础上的多阶段过程与参数维纳滤波器的噪声建模。与传统的维纳滤波方法相比，所提出的噪声模型估计更准确的噪声功率谱密度（PSD），并允许在各种噪声条件下更好的泛化。仿真结果表明，该方法可以实现更好的性能，在语音质量（PESQ）和可懂度（STOI）在低信噪比水平。
2022-07-14 cs.RO cs.SD eess.AS
Speech enhancement with mixture-of-deep-experts with clean clustering pre-training
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
在这项研究中，我们提出了一种用于单麦克风语音增强的深度专家（ModE）神经网络架构。我们的架构包括一组深度神经网络（DNN），每个网络都是不同语音频谱模式（如音素）的“专家”。门控DNN负责潜变量，这些潜变量是分配给给定语音片段的每个专家输出的权重。专家从噪声输入估计掩码，然后获得最终掩码作为专家估计的加权平均，其中权重由门控DNN确定。然后基于估计的掩模应用软频谱衰减来增强有噪语音信号。作为副产品，我们在测试时间的复杂性获得减少。我们表明，专家专业化可以更好地鲁棒性不熟悉的噪声类型。
2021-02-11 cs.LG cs.SD eess.AS
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
PercepNet+: A Phase and SNR Aware PercepNet for Real-Time Speech Enhancement
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）
PercepNet是RNNoise的最新扩展，RNNoise是一种高效，高质量和实时的全频带语音增强技术，在各种公共深度噪声抑制任务中表现出良好的性能。本文提出了一种名为PercepNet+的新方法，通过四项重大改进进一步扩展了PercepNet。首先，我们引入了一种相位感知结构，通过分别添加复特征和复子带增益作为深度网络的输入和输出，将相位信息利用到PercepNet中。然后，一个信号噪声比（SNR）估计和SNR切换后处理的专门设计，以减轻过衰减（OA），出现在高信噪比条件下的原始感知网。此外，GRU层被TF-GRU取代，以模拟时间和频率依赖性。最后，我们提出综合复数子带增益损失、信噪比损失、基音滤波强度损失和一个OA损失，以多目标学习的方式进一步提高语音增强性能。实验结果表明，提出的PercepNet+在PESQ和STOI方面都明显优于原始PercepNet，而没有过多增加模型大小。
2022-03-04 cs.SD eess.AS
DNN-Free Low-Latency Adaptive Speech Enhancement Based on Frame-Online Beamforming Powered by Block-Online FastMNMF
RIKEN（理化学研究所）；Kyoto University（京都大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））
本文描述了一种实用的双处理语音增强系统，该系统采用环境敏感的帧在线波束形成（前端），并帮助无环境的块在线源分离（后端）。为了使用最小方差无失真响应（MVDR）波束成形，可以训练深度神经网络（DNN），该深度神经网络估计用于计算源（语音和噪声）的协方差矩阵的时频掩模。提出了一种基于反向传播的DNN运行时自适应算法，用于处理训练-测试条件不匹配的情况。相反，人们可以尝试用称为快速多通道非负矩阵分解（FastMNMF）的最先进的盲源分离方法来直接估计源协方差矩阵。然而，在实践中，DNN和FastMNMF都不能以帧在线方式更新，这是由于其计算昂贵的迭代性质。我们的无DNN系统利用块在线FastMNMF给出的最新源频谱图的后验来推导当前源协方差矩阵，用于帧在线波束形成。评估表明，我们的帧在线系统可以快速响应由干扰扬声器移动引起的场景变化，并且在字错误率方面优于现有的基于DNN的波束成形的块在线系统5.0个点。
2022-07-22 cs.SD eess.AS
Speech Enhancement in Adverse Environments Based on Non-stationary Noise-driven Spectral Subtraction and SNR-dependent Phase Compensation
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Concordia University（康考迪亚大学）
本文提出了一种基于谱减法和相位谱补偿的两步增强方法，用于在非平稳噪声和中低信噪比的恶劣环境中对含噪语音进行增强。在该方法的第一步中，通过谱减法的方法来修改带噪语音谱的幅度，其中引入了基于带噪语音的低频信息的新的噪声估计方法。我们认为，这种方法的噪声估计是能够估计的非平稳噪声准确。在由相位谱补偿组成的第二步骤中修改带噪语音的相位谱，其中并入SNR相关的方法以确定施加在相位谱上的补偿量。通过将来自谱减法步骤的幅度和来自相位补偿步骤的修改后的相位谱进行聚合来获得修改后的复谱，发现这是增强的语音谱的更好的表示。在NOIZEUS数据库中的语音文件被用来进行广泛的模拟评估所提出的方法。
2018-02-19 cs.SD eess.AS
GAN-Based Speech Enhancement for Low SNR Using Latent Feature Conditioning
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
本文提出 DisCoGAN，利用低信噪比语音增强判别式模型的潜在特征条件化时频域生成对抗网络，在语音质量上优于判别式方法和端到端 GAN。
2024-10-17 cs.SD eess.AS eess.SP
Using Monte Carlo dropout for non-stationary noise reduction from speech
Indian Institute of Science（印度科学学院）
在这项工作中，我们建议使用dropout作为贝叶斯估计器，以提高用于语音增强的深度神经网络（DNN）的可推广性。通过使用蒙特卡罗（MC）丢弃，我们表明DNN在不可见噪声和SNR条件下具有更好的增强效果。DNN在SNR为0，5和10 dB的Factory 2，M109，Babble，Leopard和Volvo噪声中进行语音训练。语音样本来自TIMIT数据库，噪声来自NOISEX-92。在另一个实验中，我们训练五个DNN模型，分别对Factory 2，M109，Babble，Leopard和Volvo噪声，在0，5和10 dB SNR下的语音进行破坏。模型精度（使用MC dropout估计）用作平方误差的代理，以根据DNN模型在每帧测试数据上的性能动态选择最佳DNN模型。我们提出了一个算法，在模型精度上设置一个阈值，在基于分类器的模型选择方案和基于模型精度的选择方案之间进行切换。测试是在被看不见的噪声White、Pink和Factory 1以及所有五种可见噪声破坏的语音上进行的。
2018-08-28 cs.SD eess.AS
Machines hear better when they have ears
Gent University（根特大学）
基于深度神经网络（DNN）的噪声抑制系统比传统方法（如谱减法和非负矩阵分解）有显着改进，但不能很好地推广到它们未被训练的噪声条件。与DNN相比，人类表现出显着的噪声抑制能力，在各种不利的收听条件和负信噪比（SNR）下产生成功的语音清晰度。受人类出色表现的启发，本文探讨了模拟人类耳蜗信号处理的数值模型是否可以与DNN相结合，以提高基于DNN的噪声抑制系统的鲁棒性。五个耳蜗模型耦合到完全连接的和经常性的基于NN的噪声抑制系统，并使用客观指标进行训练和评估各种噪声条件：感知语音质量（PESQ），分段SNR和倒谱距离。模拟表明，生物仿生学启发的耳蜗模型提高了基于DNN的噪声抑制系统对不可见噪声和负SNR的泛化能力。因此，这种方法导致对噪声类型和噪声水平不太敏感的鲁棒噪声抑制系统。由于耳蜗模型捕获了外围听觉处理的内在非线性和动态性，因此这里表明，考虑到它们的确定性信号处理，可以提高机器听力并避免多层DNN的过度训练。因此，我们得出结论，当在DNN的输入端使用真实的耳蜗模型时，机器听得更好。
2018-06-05 cs.LG cs.SD eess.AS
Building DNN Acoustic Models for Large Vocabulary Speech Recognition
Stanford University（斯坦福大学）
深度神经网络（DNN）现在是几乎所有最先进的语音识别系统的核心组件。构建神经网络声学模型需要几个设计决策，包括网络架构、大小和训练损失函数。本文提供了一个实证调查DNN声学模型设计的哪些方面是最重要的语音识别系统的性能。我们报告DNN分类器的性能和最终的语音识别器的字出错率，并比较DNN使用几个指标来量化影响任务性能差异的因素。我们的第一组实验使用标准的Switchboard基准语料库，其中包含约300小时的会话电话语音。我们将标准DNN与卷积网络进行比较，并使用局部连接的未绑定神经网络进行声学建模。我们还通过结合Switchboard和Fisher语料库，在2,100小时的训练数据的语料库上构建系统。这个更大的语料库使我们能够更彻底地检查大型DNN模型的性能-参数比语音识别系统中通常使用的参数多十倍。我们的研究结果表明，相对简单的DNN架构和优化技术可以产生强大的结果。这些发现以及以前的工作有助于建立一套最佳实践，用于构建具有最大似然训练的DNN混合语音识别系统。我们在DNN优化方面的实验还可以作为一个案例研究，用于训练具有语音任务判别损失函数的DNN，以及更一般的DNN分类器。
2015-01-20 cs.CL cs.LG cs.NE
Integrated Speech Enhancement Method Based on Weighted Prediction Error and DNN for Dereverberation and Denoising
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
混响和加性噪声都会降低语音质量和可懂度。加权预测误差法（WPE）对混响的去除效果较好，但也存在一定的局限性。首先，WPE算法没有考虑加性噪声的影响，从而降低了去混响的性能。其次，它依赖于一个耗时的迭代过程，并且没有保证或广泛接受的收敛标准。本文将深度神经网络（DNN）集成到WPE中进行去混响和去噪。DNN用于抑制背景噪声，以满足WPE的无噪声假设。同时，DNN直接预测目标语音的谱方差，使WPE无需迭代即可工作。实验结果表明，该方法在语音质量上有明显的提高，并且运行速度快。
2017-08-28 cs.SD
Diffiner: A Versatile Diffusion-based Generative Refiner for Speech Enhancement
Sony Group Corporation（索尼集团公司）；Sony Research（索尼研究院）
Diffiner是一种基于扩散的生成式精炼器，通过混合新生成的干净部分与SE方法产生的失真部分，改善语音感知质量，且无需针对各SE方法专门训练，具有高模块化潜力。
2023-08-30 cs.LG cs.SD eess.AS
Feasibility of Time-Domain DNN-Based Speech Enhancement on Embedded FPGA for Hearing Aids
Radboud University, Donders Institute for Brain, Cognition, and Behaviour, The Netherlands（拉德堡德大学，脑认知行为研究所，荷兰）；Mortimer B. Zuckerman Mind, Brain, Behavior Institute, Columbia University, USA（莫蒂默·B·齐克曼心智、大脑与行为研究所，哥伦比亚大学，美国）
本文在AMD-Xilinx Kria KV260上部署轻量级SuDoRM-RF++模型，通过FP32和16位定点精度评估语音分离和降噪，发现数据移动是主要瓶颈，定点降噪加速器达到9.7ms首样本延迟，满足10ms临床阈值。
2026-07-20 cs.AR cs.SD eess.AS
SERAB: A multi-lingual benchmark for speech emotion recognition
EPFL（洛桑联邦理工学院）；Logitech（罗技）
语音情感识别（SER）的最新发展经常利用深度神经网络（DNN）。由于使用不同的数据集和评估协议，比较和基准测试不同的DNN模型通常是繁琐的。为了促进这一过程，在这里，我们提出了语音情感识别自适应基准（SERAB），一个框架，用于评估不同的方法的性能和泛化能力的话语级SER。基准是由九个数据集SER在六种语言。由于数据集具有不同大小和数量的情感类，因此所提出的设置特别适合于估计预训练的基于DNN的特征提取器的泛化能力。我们使用所提出的框架来评估标准手工制作的功能集和最先进的DNN表示。结果强调，仅使用SERAB中包含的数据的子集可能会导致有偏见的评价，而遵守拟议的协议可以避免这个问题。
2021-10-07 cs.AI cs.LG cs.SD
Towards Low-distortion Multi-channel Speech Enhancement: The ESPNet-SE Submission to The L3DAS22 Challenge
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；Shanghai Jiao Tong University（上海交通大学）；Academia Sinica（中央研究院）
本文介绍了我们提交的L3 DAS 22挑战任务1，其中包括语音增强与三维高保真度立体声麦克风。我们方法的核心将深度神经网络（DNN）驱动的复杂光谱映射与线性波束形成器（如多帧多通道维纳滤波器）相结合。我们提出的系统有两个DNN和一个线性波束形成器。两个DNN都经过训练，使用波形和幅度频谱损失的组合来执行复杂的频谱映射。来自第一DNN的估计信号用于驱动线性波束形成器，并且波束形成结果与该增强信号一起用作第二DNN的额外输入，第二DNN细化估计。然后，根据这个新的估计信号，迭代地运行线性波束形成器和第二DNN。所提出的方法在挑战中排名第一，在评价集上实现了0.984的排名指标，而挑战基线为0.833。
2022-02-24 cs.SD eess.AS
Multichannel Loss Function for Supervised Speech Source Separation by Mask-based Beamforming
LINE Corporation（LINE公司）
在本文中，我们提出了两种基于掩模的波束形成方法，使用由多通道损失函数训练的深度神经网络（DNN）。使用由DNN估计的时频（TF）掩模的波束成形技术已经应用于TF掩模用于估计空间协方差矩阵的许多应用。为了训练用于基于掩码的波束成形的DNN，已经采用了为单声道语音增强/分离设计的损失函数。虽然这样的训练标准是简单的，但它并不直接对应于基于掩模的波束成形的性能。为了克服这个问题，我们使用多通道损失函数评估估计的空间协方差矩阵的基础上，多通道板仓斋藤分歧。由多通道损失函数训练的DNN可以被应用于构造多个波束形成器。实验结果证实了它们的有效性和鲁棒性麦克风配置。
2019-07-11 cs.SD eess.AS
On the Importance of Neural Wiener Filter for Resource Efficient Multichannel Speech Enhancement
Indiana University Bloomington（印第安纳大学伯明顿分校）；Reality Labs Research, Meta（Meta现实实验室研究部）
本文提出一种时域多通道语音增强框架，通过两个紧凑DNN围绕神经维纳滤波器进行联合训练，以更少参数和更低计算量实现低延迟高性能语音增强。
2024-01-15 cs.SD eess.AS
Lightweight DNN for Full-Band Speech Denoising on Mobile Devices: Exploiting Long and Short Temporal Patterns
Nokia Technologies Espoo, Finland（诺基亚技术公司（埃斯波，芬兰））；Nokia Technologies Tampere, Finland（诺基亚技术公司（塔尔皮奥拉，芬兰））；Nokia Bell Labs Antwerp, Belgium（诺基亚贝尔实验室（安特卫普，比利时））
针对移动设备上全带低延迟语音去噪资源受限的问题，提出一种结合长短时间模式的轻量因果DNN方法，基于改进UNet架构，在手机上实时因子低于0.02，（SI-）SDR性能优于现有同类方法。
2025-09-05 cs.LG cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，递归神经网络（RNN）在语音增强方面取得了显著的进步。然而，RNN的模型复杂度和推理时间成本远高于深度前馈神经网络（DNN）。因此，这些限制了语音增强的应用。提出了一种全数据学习的深度时延神经网络（TDNN）语音增强方法。TDNN具有很好的潜力，捕捉长距离的时间上下文，它利用模块化和增量设计。此外，TDNN保留了前馈结构，因此其推理成本与标准DNN相当。为了充分利用训练数据，提出了一种全数据学习的语音增强方法。更具体地说，我们不仅使用噪声到清洁（输入到目标）来训练增强模型，而且使用清洁到清洁和噪声到静音数据。因此，所有训练数据都可以用于训练增强模型。我们的实验是在TIMIT数据集上进行的。实验结果表明，我们提出的方法可以实现更好的性能比DNN和可比甚至更好的性能比BLSTM。同时，与BLSTM相比，该方法大大减少了推理时间。
2020-11-11 cs.LG cs.SD eess.AS
Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
针对多通道语音增强中输入数据量爆炸和隐藏层数据量膨胀的问题，提出了一种基于张量-向量回归的多通道语音增强方法。其关键思想是将传统的基于深度神经网络（DNN）的向量到向量回归公式化在张量训练网络（TTN）框架下。TTN是最近出现的一种解决方案，用于紧凑地表示具有完全连接的隐藏层的深度模型。因此，TTN保持了DNN的表达能力，但涉及的可训练参数数量要少得多。此外，TTN可以通过设计来处理多维张量输入，这与多通道语音增强中的期望设置完全匹配。我们首先提供了一个理论上的扩展，从DNN到TTN的回归。接下来，我们证明了TTN可以达到与DNN相当的语音增强质量，但参数要少得多，例如，在单信道情况下观察到从2700万个参数减少到仅500万个参数。TTN还通过略微增加可训练参数的数量将PESQ从DNN的2.86提高到2.96。最后，在8信道条件下，使用TTN的2000万个参数实现了3.12的PESQ，而具有6800万个参数的DNN只能实现3.06的PESQ。我们的实现可以在www.example.com上获得。
2020-02-03 cs.CL cs.LG cs.NE
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Refining DNN-based Mask Estimation using CGMM-based EM Algorithm for Multi-channel Noise Reduction
AGH University of Science and Technology（AGH科技大学）
本文提出一种基于迭代CGMM算法和最优空间滤波的多通道细化方法，用于改善单通道DNN估计的时频掩码，并在DCUnet、DCCRN和FullSubNet上验证了其在AUC和PESQ指标上的一致提升。
2023-09-18 cs.SD eess.AS
PROSE: Perceptual Risk Optimization for Speech Enhancement
Indian Institute of Science（印度科学理工学院）；Indian Railways（印度铁路公司）
语音增强的目标是通过最小化所选择的失真度量来从噪声信号开始获得干净语音的估计，这导致取决于未知的干净信号或其统计的估计。由于在实践中对这种先验知识的访问是有限的或不可能的，因此必须估计干净的信号统计。在本文中，我们开发了一个新的风险最小化框架语音增强，其中，一个优化的失真/风险的无偏估计，而不是实际的风险。估计的风险仅表示为噪声观测的函数。我们考虑几个感知相关的失真措施，并制定相应的无偏估计的噪声分布和先验信噪比（SNR）的现实假设。最小化的风险估计产生相应的降噪，这是一个后验SNR的非线性函数。语音质量的感知评价（PESQ），平均分段信噪比（SSNR）的计算，和听力测试表明，建议的风险优化方法采用Itakura-Saito和加权双曲余弦失真比其他失真措施提供了更好的性能。对于信噪比大于5 dB，所提出的方法提供了优越的去噪性能的基准技术的基础上的维纳滤波器，对数MMSE最小化，贝叶斯非负矩阵分解。
2017-10-11 cs.SD eess.AS
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
DCCRN+: Channel-wise Subband DCCRN with SNR Estimation for Speech Enhancement
Northwestern Polytechnical University（西北工业大学）
深度复卷积递归网络（DCCRN）以复杂的结构扩展了CRN，在Interspeech 2020深度噪声抑制挑战赛（DNS 2020）的MOS评估中取得了优异的性能。本文通过以下重大修订进一步扩展了DCCRN。我们首先将模型扩展到子带处理，其中通过可学习的神经网络滤波器而不是工程FIR滤波器来分割和合并频带，从而以端到端的方式训练更快的噪声抑制器。然后，LSTM被进一步替换为复杂的TF-LSTM，以更好地沿时间和频率轴对时间依赖性进行建模。此外，我们不是简单地将每个编码器层的输出连接到相应解码器层的输入，而是使用卷积块首先从编码器输出中聚合基本信息，然后将其馈送到解码器层。我们特别制定了一个额外的先验信噪比估计模块的解码器，以保持良好的语音质量，同时消除噪声。最后采用后处理模块进一步抑制非自然残留噪声。这款名为DCCRN+的新机型在PESQ和DNSMOS方面已经超越了原有的DCCRN以及几款竞争机型，并在全新的Interspeech 2021 DNS挑战赛中取得了优异的成绩
2021-06-16 cs.SD eess.AS
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
Improved Remixing Process for Domain Adaptation-Based Speech Enhancement by Mitigating Data Imbalance in Signal-to-Noise Ratio
CyberAgent, Inc.（CyberAgent 公司）
针对基于域自适应的语音增强中伪数据信噪比不平衡导致性能欠佳的问题，提出采用课程学习覆盖更广信噪比范围，经CHiME-7 UDASE任务数据集验证可提升低占比数据的增强性能。
2024-06-20 cs.SD eess.AS
DNN-Based Distributed Multichannel Mask Estimation for Speech Enhancement in Microphone Arrays
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学与应用数学实验室）；LTCI, Télécom Paris（巴黎电信学院LTCI实验室）
多通道处理被广泛用于语音增强，但当试图将这些解决方案部署到现实世界时，会出现一些限制。分布式传感器阵列考虑几个设备与几个麦克风是一个可行的替代方案，允许利用我们在日常生活中使用的配备麦克风的多个设备。在这种情况下，我们建议扩展的分布式自适应节点特定的信号估计方法的神经网络框架。在每个节点处，执行局部滤波以将一个信号发送到其他节点，其中通过神经网络估计掩模以计算全局多通道维纳滤波器。在两个节点的阵列中，我们表明，这个额外的信号可以有效地考虑到预测的掩模，并导致更好的语音增强性能比当掩模估计只依赖于本地信号。
2020-03-16 cs.AI cs.SD eess.AS
Raw Waveform-based Speech Enhancement by Fully Convolutional Networks
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学资讯工程学系）；National Institute of Information and Communications Technology（国立信息通信技术研究所）
本研究提出一种全卷积网络（FCN）模型，用于基于原始波形的语音增强。所提出的系统在端到端（即，波形输入和波形输出）方式，这不同于处理幅度谱的大多数现有去噪方法（例如，对数功率谱（LPS））。由于深度神经网络（DNN）和卷积神经网络（CNN）中涉及的全连接层可能无法准确表征语音信号的局部信息，特别是高频分量，因此我们采用全卷积层来建模波形。更具体地说，FCN仅由卷积层组成，因此语音信号的局部时间结构可以用相对较少的权重有效地保留。实验结果表明，基于DNN和CNN的模型恢复波形高频分量的能力有限，从而导致增强语音的可懂度降低。相比之下，所提出的FCN模型不仅可以有效地恢复波形，而且在短时客观可懂度（STOI）和语音质量感知评估（PESQ）方面优于基于LPS的DNN基线。此外，与DNN和CNN相比，FCN中的模型参数数量仅约为0.2%。
2017-06-15 cs.LG cs.SD stat.ML
A Novel Binaural Cue Preservation Loss for DNN-Based Binaural Speech Enhancement
WSA
针对基于DNN的双耳语音增强易失真左右信号关系的问题，提出两种新型双耳线索保留损失函数，实验证明其在保持降噪性能的同时减少了掩蔽失真，第二种联合损失在ILD保留上更优。
2026-08-18 cs.SD eess.AS
Trainable Adaptive Window Switching for Speech Enhancement
NTT Media Intelligence Laboratories（NTT媒体情报实验室）；The University of Electro-Communications（电气通信大学）
本文提出了一种可训练的自适应窗口切换（AWS）方法，并将其应用于深度神经网络（DNN），在改进的离散余弦变换域中进行语音增强。短时傅里叶变换域的时频掩蔽处理是一种典型的语音增强方法。为了精确地恢复目标信号，最近已经研究并使用基于DNN的短时频率变换来代替STFT。然而，由于这种固定分辨率的短时频率变换方法具有基于不确定性原理的T-F分辨率问题，因此不仅短时频率变换而且加窗函数的长度都应该被优化。为了克服这个问题，我们将AWS纳入到语音增强过程中，并且根据输入信号使用DNN来操纵每个时间帧的窗口函数。我们证实，所提出的方法实现了更高的信号失真比比传统的语音增强方法在固定分辨率的频域。
2019-02-19 cs.LG cs.SD eess.AS
Task splitting for DNN-based acoustic echo and noise removal
Microsoft Corporation（微软公司）
神经网络已经为单任务语音增强带来了巨大的性能增益，例如噪声抑制和声学回声消除（AEC）。在这项工作中，我们评估它是否是更有用的使用一个单一的联合或单独的模块来解决这些问题。我们描述了不同的可能实现，并深入了解其性能和效率。我们表明，使用一个单独的回声消除模块和一个模块的噪声和残留回声去除结果在更少的近端语音失真和更好的性能在相同的复杂度在双通话。
2022-07-13 cs.SD eess.AS
Multi-modal Speech Enhancement with Limited Electromyography Channels
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；Fortemedia Singapore（Fortemedia新加坡公司）
针对现有基于肌电的语音增强方法通道多实用性弱的问题，提出结合8通道肌电与声学信号、带跨模态模块的改进SEMamba网络，显著提升低信噪比下语音增强效果与鲁棒性。
2025-01-11 cs.SD eess.AS
Multi-Modal Hybrid Deep Neural Network for Speech Enhancement
Institute of High Performance Computing（高性能计算研究所）；Institute for Infocomm Research（资讯通信研究院）
深度神经网络（DNN）已经成功地增强了噪声语音信号。通过学习从受损语音信号的特征到参考干净语音信号的特征的非线性映射函数来实现增强。预测特征的质量可以通过提供对噪声鲁棒的附加侧信道信息（诸如视觉提示）来提高。在本文中，我们提出了一种新的深度学习模型的灵感来自人类的视听感知的见解。在所提出的统一混合架构中，来自处理视觉线索的卷积神经网络（CNN）的特征和来自处理音频信号的完全连接的DNN的特征使用双向长短期记忆（BiLSTM）网络来集成。使用反向传播联合学习混合模型的参数。我们比较了混合模型与传统DNN和BiLSTM模型的增强语音质量。
2016-06-15 cs.LG cs.NE cs.SD
Grounded Decoding for Autoregressive Speech Enhancement via Adaptive Code-Space Grounding and Local LLM Refinement
Kyoto University（京都大学）；Meta；Brno University of Technology（布尔诺理工大学）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Academia Sinica（中央研究院（中国台湾））；National Institute of Information and Communications Technology, Japan（日本信息通信研究机构）
该研究针对现有语音增强方法的缺陷，提出含自适应代码空间对齐（SNR-CSG）及LLM优化（GNR-LLM）的框架，实验验证其可提升低信噪比语音感知质量且不损失内容保真度。
2026-09-07 cs.SD eess.AS
Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
提出一种时频加权框架，通过调制SDR目标以强调高语音-噪声竞争和瞬态线索，改善音素重建，尤其提高辅音识别准确率。
2026-06-23 cs.CL cs.SD
Frequency-Weighted Training Losses for Phoneme-Level DNN-based Speech Enhancement
Université de Lorraine, CNRS, Inria, Loria（洛林大学、国家科学研究中心、法国国家信息与自动化研究所、Loria）
本研究提出频率加权SDR损失变体用于多通道语音增强，通过强调关键时频区域，在保持SDR的同时显著提升感知质量和辅音重建。
2025-06-23 cs.AI cs.SD eess.AS
Unsupervised speech enhancement with spectral kurtosis and double deep priors
National Institute of Technology, Tokuyama College（德山工业高等专门学校）
本文提出一种基于谱峭度和双重深度先验的无监督语音增强方法，利用两个DNN分别生成干净语音与噪声以分解含噪信号，从而规避传统方法的权衡与早停问题，并在白高斯及环境噪声下取得更优性能。
2024-07-04 cs.SD eess.AS
On Cross-Corpus Generalization of Deep Learning Based Speech Enhancement
The Ohio State University（俄亥俄州立大学）
近年来，使用深度神经网络（DNN）的监督方法已经成为语音增强的主流。已经确定的是，如果使用大量的噪声和扬声器进行训练，DNN可以很好地推广到未经训练的噪声和扬声器。然而，我们发现DNN未能推广到新的语音语料库在低信噪比（SNR）条件。在这项工作中，我们确定缺乏泛化主要是由于通道失配，即训练和未训练语料库之间的不同记录条件。此外，我们观察到，传统的通道归一化技术在提高跨语料库泛化方面是无效的。此外，我们评估了有希望推广的公开数据集。我们发现一个特定的语料库明显优于其他语料库。最后，我们发现在语音的短时处理中使用较小的帧移可以显著提高跨语料库的泛化能力。提出的解决跨语料泛化的技术包括通道归一化、更好的训练语料和短时傅立叶变换（STFT）中较小的帧移位。这些技术共同提高了未经训练的语料库的客观可懂度和质量分数显着。
2020-08-10 cs.SD eess.AS
Real-time speech enhancement using equilibriated RNN
Waseda University（早稻田大学）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
我们提出了一种使用因果深度神经网络（DNN）进行实时应用的语音增强方法。DNN被广泛用于估计增强语音信号的时频T-F掩模。一种流行的DNN结构是递归神经网络（RNN），因为它能够有效地对语音等时间序列数据进行建模。特别是，长短期记忆（LSTM）通常用于缓解梯度消失/爆炸问题，这使得RNN的训练变得困难。然而，LSTM的参数数量增加了作为减轻训练难度的代价，这需要更多的计算资源。对于实时语音增强，优选使用较小的网络而不损失性能。本文提出用平衡递归神经网络（ERNN）在不增加参数的情况下避免梯度消失/爆炸问题。拟议的结构是因果关系，它只需要过去的信息，以便实时应用。与单向和双向LSTM网络相比，该方法以更少的参数实现了类似的性能。
2020-02-14 cs.SD eess.AS
