Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
DNN-Based Speech Presence Probability Estimation for Multi-Frame Single-Microphone Speech Enhancement
University of Oldenburg（奥尔登堡大学）
用于单麦克风语音增强的多帧方法，多帧最小功率无失真响应（MFMPDR）滤波器能够利用相邻时间帧上的语音相关性。与诸如维纳增益的单帧方法相比，已经示出，多帧方法实现了几乎没有任何语音失真的实质性噪声降低，只要相关矩阵的准确估计，特别是语音帧间相关（IFC）向量是可用的。IFC向量的典型估计过程需要估计每个时频（TF）仓中的语音存在概率（SPP）。在本文中，我们建议使用双向长短期记忆深度神经网络（DNN）来估计每个TF bin的SPP。为了实现鲁棒性能，DNN针对各种噪声类型和大信噪比范围进行训练。实验结果表明，MFMPDR与建议的数据驱动的SPP估计相结合，产生了一个国家的最先进的基于模型的SPP估计相比，提高了语音质量。此外，它被证实，利用帧间相关性的MFMPDR是有益的相比，维纳增益，特别是在不利的情况下。
2022-11-14 cs.SD eess.AS
Speech Enhancement using a Deep Mixture of Experts
Bar-Ilan University（巴伊兰大学）
在这项研究中，我们提出了一个深度混合专家模型（DMoE）神经网络架构的单麦克风语音增强。与大多数忽略主要由音素结构引起的语音变化的语音增强算法相比，我们的框架包括一组深度神经网络（DNN），其中每一个都是增强与音素对应的给定语音类型的“专家”。门控DNN确定哪个专家被分配给给定的语音段。然后获得语音存在概率（SPP）作为专家SPP决策的加权平均，其中权重由门控DNN确定。然后，基于SPP的软谱衰减被应用于增强有噪语音信号。DMoE网络的专家和门控组件是联合训练的。作为训练的一部分，以无监督的方式执行语音聚类到不同子集。因此，与以前的方法不同，训练过程不需要音素标记的数据库。通过一系列不同噪声类型的实验，验证了该算法在语音增强中的适用性。所提出的方案优于其他方案，无论是不考虑音素结构或使用一个更简单的训练方法。
2017-03-27 cs.SD
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra（庞培法布拉大学）；Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Microson, Amplifon Group（Amplifon集团Microson公司）
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能，通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验，证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
Frequency bin-wise single channel speech presence probability estimation using multiple DNNs
Aalborg University（奥尔堡大学）
在这项工作中，我们提出了一种频率分箱方法，在短时傅里叶变换域中使用多个深度神经网络（DNN）来估计单通道语音存在概率（SPP）。由于所有频率仓通常同时被认为是传统的基于DNN的SPP估计器的输入特征，因此高模型复杂性是不可避免的。为了降低模型的复杂度和对训练数据的要求，我们考虑单个频率点和它的一些相邻频率点来训练分离的门递归单元。此外，噪声的语音和后验概率SPP表示被用来训练我们的模型。这些实验是在Deep Noise Suppression挑战数据集上进行的。实验结果表明，采用频域模型可以提高语音检测的准确率。最后，我们还证明了我们提出的方法优于大多数国家的最先进的SPP估计方法的语音检测精度和模型的复杂性。
2023-02-23 cs.SD eess.AS
Distributed Microphone Speech Enhancement based on Deep Learning
Yuan Ze University（元智大学）；National Chi Nan University（国立暨南国际大学）
语音相关应用在复杂噪声环境中的性能较差。因此，本研究主要通过引入基于应用于分布式麦克风架构的深度神经网络（DNN）的语音增强（SE）系统来解决这个问题，然后研究三种不同的DNN模型结构的有效性。第一个系统为每个麦克风构建DNN模型，以增强记录的嘈杂语音信号，第二个系统将所有嘈杂的记录组合成一个大的特征结构，然后通过DNN模型进行增强。对于第三种系统，首先使用通道相关的DNN来增强相应的噪声输入，并且将所有通道增强的输出馈送到DNN融合模型中以构建几乎干净的信号。所有三个DNN SE系统都在扩散噪声场环境中的语音信号的声学频域中操作。在台湾普通话噪声听力测试（TMHINT）数据库上进行了评估实验，结果表明，所有三个基于DNN的SE系统都提供了具有改善的语音质量和可懂度的原始噪声污染信号，而第三个系统提供了最高的信噪比（SNR）改善和最佳的语音可懂度。
2020-05-24 cs.LG cs.SD eess.AS
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
DNN-Free Low-Latency Adaptive Speech Enhancement Based on Frame-Online Beamforming Powered by Block-Online FastMNMF
RIKEN（理化学研究所）；Kyoto University（京都大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））
本文描述了一种实用的双处理语音增强系统，该系统采用环境敏感的帧在线波束形成（前端），并帮助无环境的块在线源分离（后端）。为了使用最小方差无失真响应（MVDR）波束成形，可以训练深度神经网络（DNN），该深度神经网络估计用于计算源（语音和噪声）的协方差矩阵的时频掩模。提出了一种基于反向传播的DNN运行时自适应算法，用于处理训练-测试条件不匹配的情况。相反，人们可以尝试用称为快速多通道非负矩阵分解（FastMNMF）的最先进的盲源分离方法来直接估计源协方差矩阵。然而，在实践中，DNN和FastMNMF都不能以帧在线方式更新，这是由于其计算昂贵的迭代性质。我们的无DNN系统利用块在线FastMNMF给出的最新源频谱图的后验来推导当前源协方差矩阵，用于帧在线波束形成。评估表明，我们的帧在线系统可以快速响应由干扰扬声器移动引起的场景变化，并且在字错误率方面优于现有的基于DNN的波束成形的块在线系统5.0个点。
2022-07-22 cs.SD eess.AS
Using Monte Carlo dropout for non-stationary noise reduction from speech
Indian Institute of Science（印度科学学院）
在这项工作中，我们建议使用dropout作为贝叶斯估计器，以提高用于语音增强的深度神经网络（DNN）的可推广性。通过使用蒙特卡罗（MC）丢弃，我们表明DNN在不可见噪声和SNR条件下具有更好的增强效果。DNN在SNR为0，5和10 dB的Factory 2，M109，Babble，Leopard和Volvo噪声中进行语音训练。语音样本来自TIMIT数据库，噪声来自NOISEX-92。在另一个实验中，我们训练五个DNN模型，分别对Factory 2，M109，Babble，Leopard和Volvo噪声，在0，5和10 dB SNR下的语音进行破坏。模型精度（使用MC dropout估计）用作平方误差的代理，以根据DNN模型在每帧测试数据上的性能动态选择最佳DNN模型。我们提出了一个算法，在模型精度上设置一个阈值，在基于分类器的模型选择方案和基于模型精度的选择方案之间进行切换。测试是在被看不见的噪声White、Pink和Factory 1以及所有五种可见噪声破坏的语音上进行的。
2018-08-28 cs.SD eess.AS
Deep neural network techniques for monaural speech enhancement: state of the art analysis
University of Cambridge（剑桥大学）
本文综述了深度神经网络在单声道语音增强中的主流技术，涵盖特征提取、全局与局部特征建模、监督与无监督训练及预训练模型应用，旨在总结该领域的主要趋势。
2023-06-20 cs.LG cs.SD eess.AS
Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
提出一种时频加权框架，通过调制SDR目标以强调高语音-噪声竞争和瞬态线索，改善音素重建，尤其提高辅音识别准确率。
2026-06-23 cs.CL cs.SD
A two-step approach for speech enhancement in low-SNR scenarios using cyclostationary beamforming and DNNs
本文提出一种结合循环平稳预处理与轻量级DNN的两步语音增强方法，有效提升低信噪比下的语音质量。
2026-02-13 cs.SD eess.AS
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）
本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。
2022-03-11 cs.AI cs.LG cs.SD
Feasibility of Time-Domain DNN-Based Speech Enhancement on Embedded FPGA for Hearing Aids
Radboud University, Donders Institute for Brain, Cognition, and Behaviour, The Netherlands（拉德堡德大学，脑认知行为研究所，荷兰）；Mortimer B. Zuckerman Mind, Brain, Behavior Institute, Columbia University, USA（莫蒂默·B·齐克曼心智、大脑与行为研究所，哥伦比亚大学，美国）
本文在AMD-Xilinx Kria KV260上部署轻量级SuDoRM-RF++模型，通过FP32和16位定点精度评估语音分离和降噪，发现数据移动是主要瓶颈，定点降噪加速器达到9.7ms首样本延迟，满足10ms临床阈值。
2026-07-20 cs.AR cs.SD eess.AS
Rethinking complex-valued deep neural networks for monaural speech enhancement
Meta
尽管针对采用复值深度神经网络（DNN）做出了多种努力，但对于单声道语音增强，复值DNN通常是否比实值DNN更有效仍然是一个悬而未决的问题。这项工作致力于通过系统地检查复值DNN与实值DNN的对比来进行关键评估。具体来说，我们研究了复值DNN原子单元，包括线性层、卷积层、长短期记忆（LSTM）和门控线性单元。通过比较最近开发的门控卷积递归网络（GCRN）中基本构建块的复值和实值版本，我们展示了基本块的不同机制如何影响性能。我们还发现，使用复值操作阻碍了模型容量时，模型的大小是小的。此外，我们还研究了两种最近的复值DNN，即深度复卷积递归网络（DCCRN）和深度复U网（DCUNET）。评估结果表明，这两个DNN产生相同的性能，他们的实值同行，但需要更多的计算。基于这些全面的比较，我们得出结论，复值DNN不提供性能增益超过其实值对应的单声道语音增强，因此是不太可取的，由于其较高的计算成本。
2023-01-11 cs.LG cs.SD eess.AS
Towards Low-distortion Multi-channel Speech Enhancement: The ESPNet-SE Submission to The L3DAS22 Challenge
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；Shanghai Jiao Tong University（上海交通大学）；Academia Sinica（中央研究院）
本文介绍了我们提交的L3 DAS 22挑战任务1，其中包括语音增强与三维高保真度立体声麦克风。我们方法的核心将深度神经网络（DNN）驱动的复杂光谱映射与线性波束形成器（如多帧多通道维纳滤波器）相结合。我们提出的系统有两个DNN和一个线性波束形成器。两个DNN都经过训练，使用波形和幅度频谱损失的组合来执行复杂的频谱映射。来自第一DNN的估计信号用于驱动线性波束形成器，并且波束形成结果与该增强信号一起用作第二DNN的额外输入，第二DNN细化估计。然后，根据这个新的估计信号，迭代地运行线性波束形成器和第二DNN。所提出的方法在挑战中排名第一，在评价集上实现了0.984的排名指标，而挑战基线为0.833。
2022-02-24 cs.SD eess.AS
Multichannel Loss Function for Supervised Speech Source Separation by Mask-based Beamforming
LINE Corporation（LINE公司）
在本文中，我们提出了两种基于掩模的波束形成方法，使用由多通道损失函数训练的深度神经网络（DNN）。使用由DNN估计的时频（TF）掩模的波束成形技术已经应用于TF掩模用于估计空间协方差矩阵的许多应用。为了训练用于基于掩码的波束成形的DNN，已经采用了为单声道语音增强/分离设计的损失函数。虽然这样的训练标准是简单的，但它并不直接对应于基于掩模的波束成形的性能。为了克服这个问题，我们使用多通道损失函数评估估计的空间协方差矩阵的基础上，多通道板仓斋藤分歧。由多通道损失函数训练的DNN可以被应用于构造多个波束形成器。实验结果证实了它们的有效性和鲁棒性麦克风配置。
2019-07-11 cs.SD eess.AS
On the Role of Spatial, Spectral, and Temporal Processing for DNN-based Non-linear Multi-channel Speech Enhancement
与将线性空间滤波器与独立的时间谱后滤波器相结合的传统方法相比，使用深度神经网络（DNN）直接学习滤波器以进行多通道语音增强可能具有两个关键优势：1）非线性空间滤波允许克服源自线性处理模型的潜在限制，以及2）空间和节奏的联合处理。光谱信息允许利用不同信息源之间的相互依赖性。最近已经提出了各种基于DNN的非线性滤波器，据报道，这些滤波器具有良好的增强性能。然而，很少有人知道的内部机制，把网络架构设计成一个游戏的机会。因此，在本文中，我们进行了实验，以更好地理解基于DNN的非线性滤波器对空间、光谱和时间信息的内部处理。一方面，我们在困难的语音提取场景中的实验证实了非线性空间滤波的重要性，其性能优于Oracle线性空间滤波器0.24 POLQA得分。另一方面，我们证明了联合处理的结果在一个大的性能差距0.4 POLQA得分网络架构之间利用光谱与时间信息，除了空间信息。
2022-06-22 cs.LG cs.SD eess.AS
Stable Training of DNN for Speech Enhancement based on Perceptually-Motivated Black-Box Cost Function
National Institute of Technology, Tokuyama College（国立技术院德山高专）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Waseda University（早稻田大学）
提高增强信号的主观音质是语音增强的重要任务之一。为了评估主观质量，已经提出了与感知激励的客观声音质量评估（OSQA）相关的几种方法，诸如PESQ（语音质量的感知评估）。然而，在大多数情况下，不允许直接使用这些测量来训练深度神经网络（DNN），因为流行的OSQA对于DNN参数是不可微的。因此，先前的研究提出了通过辅助DNN来近似OSQA的得分，以便其梯度可以用于训练主DNN。这种方法的一个问题是由分数的近似误差引起的训练不稳定。为了克服这个问题，我们建议使用从强化学习中借用的稳定技术。以提高PESQ得分为例进行的实验表明，所提出的方法（i）可以稳定地训练DNN以提高PESQ，（ii）在公共数据集上实现了最先进的PESQ得分，（iii）比基于主观评价的传统方法产生了更好的声音质量。
2020-02-14 cs.LG cs.SD eess.AS
On the Importance of Neural Wiener Filter for Resource Efficient Multichannel Speech Enhancement
Indiana University Bloomington（印第安纳大学伯明顿分校）；Reality Labs Research, Meta（Meta现实实验室研究部）
本文提出一种时域多通道语音增强框架，通过两个紧凑DNN围绕神经维纳滤波器进行联合训练，以更少参数和更低计算量实现低延迟高性能语音增强。
2024-01-15 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University（奥尔堡大学）
在本文中，我们提出了一种基于深度神经网络（DNN）的语音增强（SE）系统，该系统旨在最大限度地提高短时客观可懂度（STOI）测量的近似值。我们形式化了一个近似的STOI成本函数，并推导出DNN训练所需梯度的解析表达式，并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明，所提出的SE系统实现了很大的改善，估计语音清晰度，匹配和不匹配的自然噪声类型，在多个信号噪声比进行测试时。此外，我们表明，SE系统，当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后，我们表明，所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度（STSA）SE系统表现相当。这些结果很重要，因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Speech Enhancement using Kernel and Normalized Kernel Affine Projection Algorithm
Vignan University（维格南大学）；NIT Warangal（瓦朗加尔国立理工学院）
本文研究了核仿射投影算法和归一化核仿射投影算法在语音信号增强中的应用。背景噪声的去除是非常重要的，在许多应用中，如语音识别，电话交谈，助听器，法医等核自适应滤波器显示出良好的性能去除噪声。如果背景噪声的评估比语音慢，即，噪声信号比语音更平稳，我们可以很容易地估计语音中停顿期间的噪声。否则，噪声的估计将更加困难，这将导致语音质量的下降。为了提高语音的质量和可懂度，与时域和频域不同，我们可以在新的域中处理信号，如高维的再生核希尔伯特空间（RKHS），以产生更强大的非线性扩展。在实验中，我们使用了噪声语音语料库（NOIZEUS）。从结果中，我们观察到在RKHS去除噪声有很大的性能，在信噪比值相比，传统的自适应滤波器。
2013-09-10 cs.MM cs.SD
On the Relationship Between Short-Time Objective Intelligibility and Short-Time Spectral-Amplitude Mean-Square Error for Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
大多数基于深度神经网络（DNN）的语音增强算法依赖于短时谱幅度（STSA）的均方误差（MSE）准则，其与人类感知（例如语音可懂度）没有明显的联系。另一方面，短时客观可懂度（STOI）是一种流行的最先进的语音可懂度估计器，它依赖于语音时间包络的线性相关。这就提出了一个问题，与基于STSA-MSE标准的算法相比，基于包络线性相关（ELC）的DNN训练标准是否可以提高基于DNN的语音增强算法的语音可懂度性能。在本文中，我们推导出，在一定的一般条件下，STSA-MSE和ELC准则实际上是等价的，我们提供的经验数据来支持我们的理论结果。此外，我们的实验结果表明，标准的STSA最小MSE估计是接近最佳的，如果目标是提高嘈杂的语音的方式，这是最佳的相对于STOI语音清晰度估计。
2018-12-04 cs.SD eess.AS
Refining DNN-based Mask Estimation using CGMM-based EM Algorithm for Multi-channel Noise Reduction
AGH University of Science and Technology（AGH科技大学）
本文提出一种基于迭代CGMM算法和最优空间滤波的多通道细化方法，用于改善单通道DNN估计的时频掩码，并在DCUnet、DCCRN和FullSubNet上验证了其在AUC和PESQ指标上的一致提升。
2023-09-18 cs.SD eess.AS
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology（格拉茨技术大学）；Ruperts Karls University（海德堡大学）
虽然机器学习技术传统上是资源密集型的，但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中，我们提供了一种基于深度神经网络（DNN）的多通道语音增强的资源高效方法。特别是，我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应（MVDR）或广义特征值（GEV）波束形成器。在二进制权重和精度降低的激活的极端情况下，可以显著减少执行时间和内存占用，同时仍然获得几乎与单精度DNN相当的音频质量，并且使用WSJ0语音语料库的单个说话者场景的字错误率（WER）略高。
2020-07-22 cs.LG cs.SD eess.AS
Phase-Aware Deep Speech Enhancement: It's All About The Frame Length
Universität Hamburg（汉堡大学）
语音处理中的语音延迟主要由用于傅立叶分析的帧长度决定，这反过来限制了以幅度为中心的方法的可实现性能。由于先前的研究表明相位的重要性随着帧长度的减小而增加，因此本文系统地研究了不同帧长度下基于现代深度神经网络（DNN）的语音增强中相位和幅度的贡献。结果表明，DNN在使用短帧时可以成功地估计相位，与使用较长帧相比，具有相似或更好的整体性能。因此，有趣的是，现代相位感知DNN允许高质量的低延迟语音增强。
2022-10-04 cs.LG cs.SD eess.AS
SNR-Based Features and Diverse Training Data for Robust DNN-Based Speech Enhancement
在本文中，我们解决了基于深度神经网络（DNN）的语音增强在训练数据大小和多样性有限的情况下对不可见噪声条件的泛化。为了获得更多的见解，我们分析了泛化方面：（1）训练数据的大小和多样性，（2）不同的网络架构，以及（3）选择的特征。为了解决（1），我们在Hu噪声语料库（有限大小）、CHiME 3噪声语料库（有限多样性）上训练网络，并且还提出了基于免费可用的声音收集的大而多样的数据集。为了解决（2），我们比较了全连接前馈和长短期记忆（LSTM）架构。为了解决（3），我们比较了三个输入特征，即量化的噪声周期图，噪声感知训练（NAT）和提出的基于信噪比（SNR）的噪声感知训练（SNR-NAT）。我们证实，丰富的训练数据和改进的网络架构有助于DNN的推广。此外，我们通过实验结果和使用t分布随机邻居嵌入（t-SNE）的分析表明，即使使用简单的网络架构，并且仅在小数据集上训练时，所提出的SNR-NAT特征也会在不可见的噪声中产生鲁棒和水平独立的结果，这是本文的关键贡献。
2021-05-15 cs.LG cs.SD eess.AS
Speech enhancement with mixture-of-deep-experts with clean clustering pre-training
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
在这项研究中，我们提出了一种用于单麦克风语音增强的深度专家（ModE）神经网络架构。我们的架构包括一组深度神经网络（DNN），每个网络都是不同语音频谱模式（如音素）的“专家”。门控DNN负责潜变量，这些潜变量是分配给给定语音片段的每个专家输出的权重。专家从噪声输入估计掩码，然后获得最终掩码作为专家估计的加权平均，其中权重由门控DNN确定。然后基于估计的掩模应用软频谱衰减来增强有噪语音信号。作为副产品，我们在测试时间的复杂性获得减少。我们表明，专家专业化可以更好地鲁棒性不熟悉的噪声类型。
2021-02-11 cs.LG cs.SD eess.AS
DNN-Based Distributed Multichannel Mask Estimation for Speech Enhancement in Microphone Arrays
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学与应用数学实验室）；LTCI, Télécom Paris（巴黎电信学院LTCI实验室）
多通道处理被广泛用于语音增强，但当试图将这些解决方案部署到现实世界时，会出现一些限制。分布式传感器阵列考虑几个设备与几个麦克风是一个可行的替代方案，允许利用我们在日常生活中使用的配备麦克风的多个设备。在这种情况下，我们建议扩展的分布式自适应节点特定的信号估计方法的神经网络框架。在每个节点处，执行局部滤波以将一个信号发送到其他节点，其中通过神经网络估计掩模以计算全局多通道维纳滤波器。在两个节点的阵列中，我们表明，这个额外的信号可以有效地考虑到预测的掩模，并导致更好的语音增强性能比当掩模估计只依赖于本地信号。
2020-03-16 cs.AI cs.SD eess.AS
Raw Waveform-based Speech Enhancement by Fully Convolutional Networks
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学资讯工程学系）；National Institute of Information and Communications Technology（国立信息通信技术研究所）
本研究提出一种全卷积网络（FCN）模型，用于基于原始波形的语音增强。所提出的系统在端到端（即，波形输入和波形输出）方式，这不同于处理幅度谱的大多数现有去噪方法（例如，对数功率谱（LPS））。由于深度神经网络（DNN）和卷积神经网络（CNN）中涉及的全连接层可能无法准确表征语音信号的局部信息，特别是高频分量，因此我们采用全卷积层来建模波形。更具体地说，FCN仅由卷积层组成，因此语音信号的局部时间结构可以用相对较少的权重有效地保留。实验结果表明，基于DNN和CNN的模型恢复波形高频分量的能力有限，从而导致增强语音的可懂度降低。相比之下，所提出的FCN模型不仅可以有效地恢复波形，而且在短时客观可懂度（STOI）和语音质量感知评估（PESQ）方面优于基于LPS的DNN基线。此外，与DNN和CNN相比，FCN中的模型参数数量仅约为0.2%。
2017-06-15 cs.LG cs.SD stat.ML
A Novel Binaural Cue Preservation Loss for DNN-Based Binaural Speech Enhancement
WSA
针对基于DNN的双耳语音增强易失真左右信号关系的问题，提出两种新型双耳线索保留损失函数，实验证明其在保持降噪性能的同时减少了掩蔽失真，第二种联合损失在ILD保留上更优。
2026-08-18 cs.SD eess.AS
Task splitting for DNN-based acoustic echo and noise removal
Microsoft Corporation（微软公司）
神经网络已经为单任务语音增强带来了巨大的性能增益，例如噪声抑制和声学回声消除（AEC）。在这项工作中，我们评估它是否是更有用的使用一个单一的联合或单独的模块来解决这些问题。我们描述了不同的可能实现，并深入了解其性能和效率。我们表明，使用一个单独的回声消除模块和一个模块的噪声和残留回声去除结果在更少的近端语音失真和更好的性能在相同的复杂度在双通话。
2022-07-13 cs.SD eess.AS
Multi-Modal Hybrid Deep Neural Network for Speech Enhancement
Institute of High Performance Computing（高性能计算研究所）；Institute for Infocomm Research（资讯通信研究院）
深度神经网络（DNN）已经成功地增强了噪声语音信号。通过学习从受损语音信号的特征到参考干净语音信号的特征的非线性映射函数来实现增强。预测特征的质量可以通过提供对噪声鲁棒的附加侧信道信息（诸如视觉提示）来提高。在本文中，我们提出了一种新的深度学习模型的灵感来自人类的视听感知的见解。在所提出的统一混合架构中，来自处理视觉线索的卷积神经网络（CNN）的特征和来自处理音频信号的完全连接的DNN的特征使用双向长短期记忆（BiLSTM）网络来集成。使用反向传播联合学习混合模型的参数。我们比较了混合模型与传统DNN和BiLSTM模型的增强语音质量。
2016-06-15 cs.LG cs.NE cs.SD
Frequency-Weighted Training Losses for Phoneme-Level DNN-based Speech Enhancement
Université de Lorraine, CNRS, Inria, Loria（洛林大学、国家科学研究中心、法国国家信息与自动化研究所、Loria）
本研究提出频率加权SDR损失变体用于多通道语音增强，通过强调关键时频区域，在保持SDR的同时显著提升感知质量和辅音重建。
2025-06-23 cs.AI cs.SD eess.AS
Unsupervised speech enhancement with spectral kurtosis and double deep priors
National Institute of Technology, Tokuyama College（德山工业高等专门学校）
本文提出一种基于谱峭度和双重深度先验的无监督语音增强方法，利用两个DNN分别生成干净语音与噪声以分解含噪信号，从而规避传统方法的权衡与早停问题，并在白高斯及环境噪声下取得更优性能。
2024-07-04 cs.SD eess.AS
On Cross-Corpus Generalization of Deep Learning Based Speech Enhancement
The Ohio State University（俄亥俄州立大学）
近年来，使用深度神经网络（DNN）的监督方法已经成为语音增强的主流。已经确定的是，如果使用大量的噪声和扬声器进行训练，DNN可以很好地推广到未经训练的噪声和扬声器。然而，我们发现DNN未能推广到新的语音语料库在低信噪比（SNR）条件。在这项工作中，我们确定缺乏泛化主要是由于通道失配，即训练和未训练语料库之间的不同记录条件。此外，我们观察到，传统的通道归一化技术在提高跨语料库泛化方面是无效的。此外，我们评估了有希望推广的公开数据集。我们发现一个特定的语料库明显优于其他语料库。最后，我们发现在语音的短时处理中使用较小的帧移可以显著提高跨语料库的泛化能力。提出的解决跨语料泛化的技术包括通道归一化、更好的训练语料和短时傅立叶变换（STFT）中较小的帧移位。这些技术共同提高了未经训练的语料库的客观可懂度和质量分数显着。
2020-08-10 cs.SD eess.AS
Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
针对多通道语音增强中输入数据量爆炸和隐藏层数据量膨胀的问题，提出了一种基于张量-向量回归的多通道语音增强方法。其关键思想是将传统的基于深度神经网络（DNN）的向量到向量回归公式化在张量训练网络（TTN）框架下。TTN是最近出现的一种解决方案，用于紧凑地表示具有完全连接的隐藏层的深度模型。因此，TTN保持了DNN的表达能力，但涉及的可训练参数数量要少得多。此外，TTN可以通过设计来处理多维张量输入，这与多通道语音增强中的期望设置完全匹配。我们首先提供了一个理论上的扩展，从DNN到TTN的回归。接下来，我们证明了TTN可以达到与DNN相当的语音增强质量，但参数要少得多，例如，在单信道情况下观察到从2700万个参数减少到仅500万个参数。TTN还通过略微增加可训练参数的数量将PESQ从DNN的2.86提高到2.96。最后，在8信道条件下，使用TTN的2000万个参数实现了3.12的PESQ，而具有6800万个参数的DNN只能实现3.06的PESQ。我们的实现可以在www.example.com上获得。
2020-02-03 cs.CL cs.LG cs.NE
Real-time speech enhancement using equilibriated RNN
Waseda University（早稻田大学）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
我们提出了一种使用因果深度神经网络（DNN）进行实时应用的语音增强方法。DNN被广泛用于估计增强语音信号的时频T-F掩模。一种流行的DNN结构是递归神经网络（RNN），因为它能够有效地对语音等时间序列数据进行建模。特别是，长短期记忆（LSTM）通常用于缓解梯度消失/爆炸问题，这使得RNN的训练变得困难。然而，LSTM的参数数量增加了作为减轻训练难度的代价，这需要更多的计算资源。对于实时语音增强，优选使用较小的网络而不损失性能。本文提出用平衡递归神经网络（ERNN）在不增加参数的情况下避免梯度消失/爆炸问题。拟议的结构是因果关系，它只需要过去的信息，以便实时应用。与单向和双向LSTM网络相比，该方法以更少的参数实现了类似的性能。
2020-02-14 cs.SD eess.AS
Lightweight DNN for Full-Band Speech Denoising on Mobile Devices: Exploiting Long and Short Temporal Patterns
Nokia Technologies Espoo, Finland（诺基亚技术公司（埃斯波，芬兰））；Nokia Technologies Tampere, Finland（诺基亚技术公司（塔尔皮奥拉，芬兰））；Nokia Bell Labs Antwerp, Belgium（诺基亚贝尔实验室（安特卫普，比利时））
针对移动设备上全带低延迟语音去噪资源受限的问题，提出一种结合长短时间模式的轻量因果DNN方法，基于改进UNet架构，在手机上实时因子低于0.02，（SI-）SDR性能优于现有同类方法。
2025-09-05 cs.LG cs.SD eess.AS
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Research Institute of Highway Ministry of Transport（交通运输部公路科学研究院）
最近，渐进式学习已经显示出其在与基于深度神经网络（DNN）和长短期记忆（LSTM）的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力，特别是在低信噪比（SNR）条件下。然而，由于大量的参数和高计算复杂性，很难在当前资源有限的微控制器中实现，因此，对于实际应用而言，显著减少参数的数量和计算负荷是必要的。为此，我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN，它利用了卷积神经网络和递归神经网络，大大减少了参数的数量，同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性，并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法，并且在客观测量方面，它也得到了接近甚至优于CRNN的结果。与PL-DNN，PL-LSTM和CRNN相比，所提出的PL-CRNN算法可以分别减少高达93%，97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
STFT-Domain Neural Speech Enhancement with Very Low Algorithmic Latency
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
短时傅立叶变换（STFT）域中基于深度学习的语音增强通常使用较大的窗口长度，例如32 ms。较大的窗口可以导致更高的频率分辨率和潜在的更好的增强。然而，这在在线设置中引起32 ms的算法延迟，因为在逆STFT（iSTFT）中使用的相加算法也使用相同的窗口大小来执行。为了减少这种固有的延迟，我们采用了传统的双窗口大小方法，其中常规的输入窗口大小用于STFT，但较短的输出窗口用于STFT域深度学习的帧在线语音增强。基于这种STFT-iSTFT配置，我们采用复谱映射进行帧在线增强，其中训练深度神经网络（DNN）以从混合RI分量预测目标语音的实部和虚部（RI）分量。此外，我们使用DNN预测的RI分量来进行帧在线波束成形，其结果用作第二DNN执行帧在线后滤波的额外特征。频域波束形成器可以很容易地与我们的DNN集成，并且被设计为不会产生任何算法延迟。此外，我们提出了一个未来帧预测技术，以进一步减少算法的延迟。对含噪混响语音增强的实验结果表明了算法的有效性。与Conv-TasNet相比，我们的STFT域系统可以在相当的计算量下实现更好的增强性能，或者以更少的计算实现相当的性能，在算法延迟低至2 ms的情况下保持强大的性能。
2022-12-05 cs.SD eess.AS
Collaborative Deep Learning for Speech Enhancement: A Run-Time Model Selection Method Using Autoencoders
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们表明，模块化神经网络（MNN）可以组合各种语音增强模块，每个模块都是专门用于特定增强工作的深度神经网络（DNN）。从一个普通的合奏技术，平均模型的变化，建议MNN选择最好的模块，看不见的测试信号产生一个贪婪的合奏。我们将其视为协作深度学习（CDL），因为它可以重用各种已经训练好的DNN模型，而无需进一步改进。在所提出的MNN中，在运行时间期间选择最佳模块具有挑战性。为此，我们采用语音自动编码器（AE）作为仲裁员，其输入和输出被训练为尽可能相似，如果其输入是干净的语音。因此，AE可以通过查看其AE重建误差来衡量模块特定的去噪结果的质量，例如，低误差意味着模块输出类似于干净的语音。我们提出了一种MNN结构，其中包含专门处理特定噪声类型，性别和输入信噪比（SNR）值的各种模块，并根据经验证明它几乎总是比任意选择的DNN模块更好，有时与Oracle结果一样好。
2017-05-29 cs.LG cs.SD
Diffiner: A Versatile Diffusion-based Generative Refiner for Speech Enhancement
Sony Group Corporation（索尼集团公司）；Sony Research（索尼研究院）
Diffiner是一种基于扩散的生成式精炼器，通过混合新生成的干净部分与SE方法产生的失真部分，改善语音感知质量，且无需针对各SE方法专门训练，具有高模块化潜力。
2023-08-30 cs.LG cs.SD eess.AS
Subjective Evaluation of Deep Neural Network Based Speech Enhancement Systems in Real-World Conditions
Tampere University（坦佩雷大学）；Huawei（华为）
两个低延迟深度神经网络（DNN）的主观评价结果进行比较，一个成熟的版本的传统维纳滤波器的噪声抑制器。目标用例是真实世界的单通道语音增强应用，例如，通讯真实世界的录音组成的附加固定和非固定噪声类型包括在内。评估分为四个结果：语音质量、噪声透明度、语音清晰度或听力努力度以及噪声水平w.r.t.演讲结果表明，DNN在所有条件下都能改善噪声抑制，与传统的维纳滤波器基线相比，语音质量和噪声透明度没有重大下降，同时保持语音清晰度优于基线。
2022-08-14 cs.MM cs.SD eess.AS
SAMbA: Speech enhancement with Asynchronous ad-hoc Microphone Arrays
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）；LTCI（电信与信息处理实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
针对 ad-hoc 麦克风阵列的设备异步问题，提出基于 DNN 的分布式语音增强方案，利用注意力机制替代高成本信号重同步，使系统对异步性具有鲁棒性，并无监督推导出异步参数。
2023-07-31 cs.SD eess.AS
A Two-Stage Deep Representation Learning-Based Speech Enhancement Method Using Variational Autoencoder and Adversarial Training
Aalborg University（奥尔堡大学）；Capturi A/S（Capturi公司）
针对基于DNN的语音增强中表示学习不足及后验估计不准的问题，提出β-VAE解耦与对抗训练结合的两阶段方法，提升STOI、PESQ和SI-SDR并优于现有竞争算法。
2023-09-27 cs.SD eess.AS
Consistency-aware multi-channel speech enhancement using deep neural networks
LINE Corporation（LINE公司）
本文提出了一种基于深度神经网络（DNN）的多通道语音增强系统，其中DNN被训练以最大化增强的时域信号的质量。基于DNN的多通道语音增强通常在时频（T-F）域中进行，因为空间滤波可以在T-F域中有效地实现。在这种情况下，在估计的T-F掩模或频谱图上计算普通目标函数。然而，估计的频谱图往往是不一致的，并且当频谱图被转换回时域时，其幅度和相位可能会改变。也就是说，目标函数没有适当地评估增强的时域信号。为了解决这个问题，我们建议使用一个目标函数定义的重建时域信号。具体地说，语音增强是在T-F域中通过多通道维纳滤波进行的，并且其结果被转换回时域。我们提出了两个目标函数计算的重建信号，其中第一个是定义在时域中，另一个是定义在T-F域。我们的实验表明，该系统的有效性相比，T-F掩蔽和基于掩模的波束形成。
2020-02-14 cs.SD eess.AS
Trainable Adaptive Window Switching for Speech Enhancement
NTT Media Intelligence Laboratories（NTT媒体情报实验室）；The University of Electro-Communications（电气通信大学）
本文提出了一种可训练的自适应窗口切换（AWS）方法，并将其应用于深度神经网络（DNN），在改进的离散余弦变换域中进行语音增强。短时傅里叶变换域的时频掩蔽处理是一种典型的语音增强方法。为了精确地恢复目标信号，最近已经研究并使用基于DNN的短时频率变换来代替STFT。然而，由于这种固定分辨率的短时频率变换方法具有基于不确定性原理的T-F分辨率问题，因此不仅短时频率变换而且加窗函数的长度都应该被优化。为了克服这个问题，我们将AWS纳入到语音增强过程中，并且根据输入信号使用DNN来操纵每个时间帧的窗口函数。我们证实，所提出的方法实现了更高的信号失真比比传统的语音增强方法在固定分辨率的频域。
2019-02-19 cs.LG cs.SD eess.AS
Memory Requirement Reduction of Deep Neural Networks Using Low-bit Quantization of Parameters
University of Pisa（比萨大学）；Tampere University（坦佩雷大学）
深度神经网络（DNN）在移动设备和嵌入式系统中的有效应用受到内存和计算能力要求的阻碍。本文提出了一种非均匀量化方法，该方法允许对不同层和同一层内的DNN参数进行动态量化。为了提高该方案的准确性，还提出了一种虚拟比特移位（VBS）方案。我们的方法降低了内存需求，保持了网络的性能。在一个语音增强应用中，我们的方法的性能得到了验证，其中一个完全连接的DNN被用来从输入的噪声语音频谱预测干净的语音频谱。DNN被优化，其内存占用和性能使用短时客观可懂度（STOI）指标进行评估。低位量化的应用允许DNN内存占用减少50%，而STOI性能仅下降2.7%。
2019-11-01 cs.LG cs.PF cs.SD
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
Speech Enhancement by Noise Self-Supervised Rank-Constrained Spatial Covariance Matrix Estimation via Independent Deeply Learned Matrix Analysis
The University of Tokyo（东京大学）；National Institute of Technology, Kagawa College（国立工业高等专门学校香山学院）；University of Tsukuba（筑波大学）；Waseda University（早稻田大学）
秩约束空间协方差矩阵估计（RCSCME）是一种适用于方向性目标语音和扩散噪声混合情况的估计方法。在传统的RCSCME中，独立低秩矩阵分析（ILRMA）被用作预处理方法。我们提出RCSCME使用独立的深度学习矩阵分析（IDLMA），这是一个监督的扩展ILRMA。在该方法中，IDLMA需要深度神经网络（DNN）来分离目标语音和噪声。在IDLMA中，我们使用了一种单通道语音增强DNN去噪器，不仅可以估计目标语音，还可以估计噪声。我们还提出了噪声自监督RCSCME，其中我们使用Denoiser的输出来估计仅含噪声的时间间隔，并为RCSCME设计噪声空间协方差矩阵的先验分布。我们确认，所提出的方法优于传统的方法在几个噪声条件下。
2021-09-10 cs.SD eess.AS
Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，递归神经网络（RNN）在语音增强方面取得了显著的进步。然而，RNN的模型复杂度和推理时间成本远高于深度前馈神经网络（DNN）。因此，这些限制了语音增强的应用。提出了一种全数据学习的深度时延神经网络（TDNN）语音增强方法。TDNN具有很好的潜力，捕捉长距离的时间上下文，它利用模块化和增量设计。此外，TDNN保留了前馈结构，因此其推理成本与标准DNN相当。为了充分利用训练数据，提出了一种全数据学习的语音增强方法。更具体地说，我们不仅使用噪声到清洁（输入到目标）来训练增强模型，而且使用清洁到清洁和噪声到静音数据。因此，所有训练数据都可以用于训练增强模型。我们的实验是在TIMIT数据集上进行的。实验结果表明，我们提出的方法可以实现更好的性能比DNN和可比甚至更好的性能比BLSTM。同时，与BLSTM相比，该方法大大减少了推理时间。
2020-11-11 cs.LG cs.SD eess.AS
Time-Variance Aware Real-Time Speech Enhancement
Microsoft Research Asia（微软亚洲研究院）；Communication University of China（中国传媒大学）
现实世界的全双工通信应用中经常出现时变因素。这些问题有的是由于环境噪声的非平稳性、声径的变化等复杂环境引起的，有的则是由于通信系统本身的原因引起的，如近端信号和远端信号之间的动态时延。当前基于端到端深度神经网络（DNN）的方法通常隐式地对时变分量进行建模，并且难以处理实时语音增强中不可预测的时变。为了显式地捕获时变组件，我们提出了一个动态内核生成（DKG）模块，该模块可以作为一个可学习的插件引入到基于DNN的端到端管道中。具体地，DKG模块生成关于每个输入音频帧的卷积核，使得DNN模型能够在推理期间根据输入信号动态地调整其权重。实验结果表明，DKG模块在联合声学回声消除（AEC）和深度噪声抑制（DNS）任务中，提高了模型在时变场景下的性能。
2023-02-25 cs.LG cs.SD eess.AS
Speech-Declipping Transformer with Complex Spectrogram and Learnerble Temporal Features
School of Electrical Engineering（电气工程学院）；KAIST（韩国科学技术院）
提出一种结合复数谱图与时域特征提取的Transformer语音去削波模型，在高低SDR输入下均优于现有最先进方法，并在多个数据集上验证了鲁棒性与泛化能力。
2024-09-19 cs.SD eess.AS eess.SP
