Deep Filter Estimation from Inter-Frame Correlations for Monaural Speech Dereverberation
Sogang University(西江大学)
本文提出IF-CorrNet,通过利用帧间STFT相关性估计多帧深度滤波器,提升远距离麦克风场景下语音去混响的鲁棒性。
2026-09-25 eess.AS
Learning Time-Graph Frequency Representation for Monaural Speech Enhancement
针对现有基于GFT的语音增强方法图拓扑固定、矩阵求逆易产生数值误差与不稳定的问题,提出可学习GFT-SVD框架,用图移位算子和Conv-1D构建可学习图拓扑与傅里叶基,无需矩阵求逆。
2025-10-02 eess.AS
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University(俄亥俄州立大学)
自几年前引入深度学习以来,单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众,它直接馈送到自动语音识别(ASR)系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处,或者单耳语音增强和识别之间的差距,通常归因于在增强过程中引入的语音失真。在这项研究中,我们分析了失真的问题,比较不同的声学模型,并探讨了失真无关的单耳语音识别的训练计划。实验结果表明,与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外,在CHiME-2语料库上,本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Towards a generalized monaural and binaural auditory model for psychoacoustics and speech intelligibility
听觉感知涉及单耳听觉通路中的线索以及基于耳朵之间的差异的双耳线索。到目前为止,听觉模型通常集中在单声道或双耳实验中。虽然双耳模型通常建立在(现有的)单耳模型的阶段上,但是仅进行了一些尝试来通过使用用于单耳和双耳线索的统一决策阶段的双耳阶段来扩展单耳模型。在这样的方法中,双耳处理的典型原型是经典的均衡-消除机制,其涉及信号自适应延迟并提供单声道输出,或者可以利用提供高维多声道输出的抽头延迟来实现。这一贡献扩展了(单声道)广义包络功率谱模型的非自适应双耳阶段,只有几个,固定的输出通道。双耳阶段类似于生理激励半球双耳处理的特征,作为简化的信号处理阶段,产生5声道单声道和双耳矩阵特征“解码器”(BMFD)。现有单声道模型的后端应用于5声道BMFD输出,并计算短时包络功率和功率特征。该模型进行了评估和讨论的单声道和双耳心理声学实验从文献的基线数据库。
2021-06-29 cs.SD eess.AS
Forward Convolutive Prediction for Frame Online Monaural Speech Dereverberation Based on Kronecker Product Decomposition
Wuhan University(武汉大学);Northwestern Polytechnical University(西北工业大学);Southern University of Science and Technology(南方科技大学);INRS-EMT, University of Quebec(魁北克大学INRS-EMT)
针对前向卷积预测语音去混响方法中线性预测滤波器过长、计算复杂度高的问题,提出基于克罗内克积分解的新型FCP方法,将长滤波器分解为两个短滤波器并设计自适应在线更新算法,在保持去混响性能的同时大幅降低计算成本。
2025-10-28 eess.AS
GLD-Net: Improving Monaural Speech Enhancement by Learning Global and Local Dependency Features with GLD Block
Trinity College Dublin(都柏林圣三一学院);vivo AI Lab(vivo人工智能实验室);HBUCM(河北中医药大学)
对于单声道语音增强,上下文信息对于准确的语音估计是重要的。然而,常用的卷积神经网络(CNN)在捕获时间上下文方面很弱,因为它们一次只构建处理一个局部邻域的块。为了解决这个问题,我们从人类的听觉感知中学习,引入了一个两阶段的可训练推理机制,称为全局-局部依赖(GLD)块。GLD块从噪声频谱图中捕获全局水平和局部水平的时频点的长期依赖性,以帮助检测语音部分、噪声部分和整个噪声输入之间的相关性。此外,我们还提出了一种单声道语音增强网络GLD-Net,该网络采用编解码器结构,由语音对象分支、干扰分支和全局噪声分支组成。提取的语音特征在全局和局部水平的有效推理和聚合在每个分支。我们将建议的GLD-Net与WSJ 0和DEMAND数据集上现有的最先进方法进行了比较。结果表明,GLD-Net在PESQ和STOI方面优于最先进的方法。
2022-06-30 cs.SD eess.AS
Monaural speech enhancement on drone via Adapter based transfer learning
Australian National University(澳大利亚国立大学)
针对无人机强自噪声下语音增强困难及数据有限导致过拟合的问题,本文提出频域瓶颈适配器迁移学习方法,固定预训练FRCRN参数、仅训练适配器,在提升语音质量的同时显著降低计算成本。
2024-05-16 cs.SD eess.AS
A Composite Predictive-Generative Approach to Monaural Universal Speech Enhancement
本文提出PGUSE模型,通过结合预测分支与生成分支并利用输出融合和截断扩散方案,有效克服了单一方法的缺陷,在多个数据集上显著提升了通用语音增强性能。
2025-05-30 eess.AS
Noise Classification Aided Attention-Based Neural Network for Monaural Speech Enhancement
TAL Education Group(好未来教育集团)
提出了一种基于噪声类型分类辅助注意力的神经网络单声道语音增强方法。该网络在前人工作的基础上,通过在网络结构中引入噪声分类子网络,并将分类嵌入引入注意力机制中,以指导网络更好地进行特征提取。具体地说,为了使网络成为一个端到端的方式,使用一个由时间卷积构造的音频编码器和解码器来进行波形和频谱图之间的转换。此外,我们的模型由两个基于长短期记忆(LSTM)的编码器、两个注意力机制、一个噪声分类器和一个语音掩码生成器组成。实验结果表明,与OM-LSA和以前的工作相比,所提出的噪声分类辅助的基于注意力的方法可以实现更好的性能在语音质量(PESQ)。更有希望的是,我们的方法具有更好的泛化能力,看不见的噪声条件。
2021-05-31 cs.SD eess.AS
Self-Supervised Learning based Monaural Speech Enhancement with Complex-Cycle-Consistent
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
近来,已经引入了自监督学习(SSL)技术来解决单声道语音增强问题。由于缺乏使用干净的相位信息,在大多数SSL方法的增强性能是有限的。因此,在本文中,我们提出了一种相位感知的自监督学习的单耳语音增强方法。在有限的干净语音信号集下,研究了基础自编码器(FAE)的两个解码器中幅度和相位的潜在表示。然后,下游自动编码器(DAE)学习干净语音和具有大量看不见的混合物的混合物表示之间的共享潜在空间。提出了一种复周期一致(CCC)机制,以最小化幅度域和相位域之间的重建损失。此外,如果将语音特征提取为多分辨率谱,则可以研究分布在不同尺度谱中的期望信息,以进一步提高性能。使用NOISEX和DAPS语料库生成具有不同干扰的混合物,以评估所提出的方法的有效性。值得强调的是,FAE和DAE中馈送的干净语音和混合语音不配对。烧蚀和对比实验结果表明,该方法明显优于国家的最先进的方法。
2021-12-21 cs.SD eess.AS
Complex-Cycle-Consistent Diffusion Model for Monaural Speech Enhancement
Lancaster University(兰卡斯特大学);University of Oxford(牛津大学)
本研究提出一种基于扩散模型的单声道语音增强方法,通过双扩散网络分别估计频谱幅度与相位,引入复循环一致机制挖掘二者内在关联,构建的SEDM模型在公开数据集上效果优于传统扩散模型。
2024-12-12 cs.SD eess.AS
Mask-dependent Phase Estimation for Monaural Speaker Separation
说话人分离是指在多说话人环境中分离感兴趣的语音。大多数方法将实值时频(T-F)掩模应用于混合短时傅里叶变换(STFT)来重建干净的语音。因此,在重建的相位和干净语音的原始相位之间存在不可避免的失配。在本文中,我们提出了一个简单而有效的相位估计网络,预测的基础上由嵌合体++网络预测的T-F掩模的干净的语音的相位。为了克服T-F掩模和相位的标签置换问题,我们提出了一种依赖于掩模的置换不变训练(PIT)准则,以基于T-F掩模预测的损失来选择相位信号。我们还提出了一个用于相位预测的逆掩模加权损失函数,将模型集中在相位更难以预测的T-F区域。WSJ 0 - 2 mix数据集上的结果表明,相位估计网络的性能与使用迭代相位重建或端到端时域损失函数的模型相当,但方式更直接。
2020-04-15 eess.AS
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London(帝国理工学院)
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法,对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法,执行盲联合去噪和去混响,同时考虑帧间语音动态,通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比(DRR)的混响参数的信号模型,并且还估计和跟踪每个频率仓中的$T_{60}$和DRR,以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量,语音清晰度和混响性能的混响参数和信噪比的范围内,在不同的噪声类型,也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment
在日常的听音环境中,语音常常受到背景噪声、室内混响和扬声器干扰的影响而失真。随着深度学习方法的发展,单耳多说话人语音分离研究取得了很大进展。然而,在这方面的研究大多集中在一个简单的问题设置的实验室环境中,没有考虑背景噪声和房间混响。在本文中,我们提出了一个基于conv-TasNet的两阶段模型,分别处理噪声和干扰扬声器的显着影响,其中使用深度扩展时间卷积网络(TCN)依次进行增强和分离。此外,我们提出了一种新的目标函数,称为最佳尺度不变信噪比(OSI-SNR),它在任何情况下都优于原来的SI-SNR。通过与OSI-SNR联合训练两阶段模型,我们的算法大大优于一阶段分离基线。
2020-08-01 cs.SD eess.AS
A Recursive Network with Dynamic Attention for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
在复杂的环境中,人往往会对言语产生动态注意。基于这一现象,我们提出了一个框架结合动态注意和递归学习在一起的单声道语音增强。除了一个主要的降噪网络,我们设计了一个独立的子网络,它自适应地产生注意力分布,以控制整个主要网络的信息流。为了有效地减少可训练参数的数量,引入了递归学习,这意味着网络被重用于多个阶段,其中每个阶段的中间输出与记忆机制相关。结果,可以获得更灵活和更好的估计。我们在TIMIT语料库上进行了实验。实验结果表明,所提出的架构获得一贯更好的性能比最近的国家的最先进的模型在PESQ和STOI分数。
2020-04-01 cs.SD eess.AS
Stereo Speech Enhancement Using Custom Mid-Side Signals and Monaural Processing
Dolby Laboratories, Inc(杜比实验室公司)
语音增强(SE)系统通常在单声道输入上操作,并且用于包括语音通信和用户生成的内容的捕获清除的应用。用于这些应用的设备的最新进步和变化可能导致相同应用的双通道内容量的增加。然而,SE系统通常被设计用于单声道输入;使用诸如通道独立或中侧处理的普通方法产生的立体声结果可能不令人满意,包括大量的语音失真。为了解决这个问题,我们提出了一个系统,创建一个新的立体声信号表示称为自定义中侧信号(CMSS)。CMSS允许用于中心平移语音的中侧信号的益处扩展到更大类别的输入信号。这又允许任何现有的单声道SE系统通过处理定制中间信号来作为有效的立体声系统操作。我们描述了如何CMSS所需的参数可以有效地估计的空间级滤波源分离系统的组件。使用最先进的基于深度学习的SE系统对具有各种语音混合风格的立体声内容进行主观收听表明,CMSS处理可以提高语音质量,其成本约为通道独立处理的一半。
2022-11-25 cs.SD eess.AS eess.SP
Deep neural network techniques for monaural speech enhancement: state of the art analysis
University of Cambridge(剑桥大学)
本文综述了深度神经网络在单声道语音增强中的主流技术,涵盖特征提取、全局与局部特征建模、监督与无监督训练及预训练模型应用,旨在总结该领域的主要趋势。
2023-06-20 cs.LG cs.SD eess.AS
Dual-Path Transformer Network: Direct Context-Aware Modeling for End-to-End Monaural Speech Separation
Jiangsu University(江苏大学);Jiangsu Engineering Research Center of big data ubiquitous perception and intelligent agriculture applications(江苏省大数据泛在感知与智能农业应用工程研究中心)
主要的语音分离模型是基于复杂的递归或卷积神经网络,其对语音序列进行建模,间接地以上下文为条件,例如通过递归神经网络中的许多中间状态传递信息,从而导致次优分离性能。在本文中,我们提出了一个双路Transformer网络(DPTNet)的端到端的语音分离,它引入了直接的上下文感知的语音序列的建模。通过引入一种改进的Transformer,语音序列中的元素可以直接交互,这使得DPTNet可以对语音序列进行直接的上下文感知建模。改进的Transformer在我们的方法中学习的顺序信息的语音序列的位置编码,通过将一个递归神经网络到原来的Transformer。此外,双路径的结构,使我们的模型非常长的语音序列建模的效率。在基准数据集上进行的大量实验表明,我们的方法优于当前最先进的方法(在公共WSj 0 - 2 mix数据语料库上为20.6 dB SDR)。
2020-08-14 cs.SD eess.AS
End-to-End Monaural Multi-speaker ASR System without Pretraining
Johns Hopkins University(约翰斯·霍普金斯大学)
近年来,端到端模型已成为自动语音识别(ASR)中传统混合模型的一种替代方法。多说话人语音分离与识别是鸡尾酒会问题的核心任务。在本文中,我们提出了一个国家的最先进的单耳多说话人端到端的自动语音识别模型。与以往单耳多说话人语音识别的研究相比,该端到端框架完全从头开始训练识别多个标签序列。该系统只需要语音混合和相应的标签序列,而不需要从非混合语音或相应的标签/对齐获得任何不确定的监督。此外,我们利用每个单独的扬声器和定时采样的个人注意力模块,以进一步提高性能。最后,我们评估所提出的模型上的2扬声器混合语音从WSJ语料库和wsj 0 - 2 mix数据集,这是一个语音分离和识别的基准。实验结果表明,该方法可以提高端到端模型在分离重叠语音和识别分离流方面的性能。从结果来看,所提出的模型导致约10.0%的相对性能增益CER和WER分别。
2018-11-05 cs.CL cs.SD eess.AS
Is CQT more suitable for monaural speech separation than STFT? an empirical study
Fujitsu Research and Development Center(富士通研发中心);Harbin Institute of Technology(哈尔滨工业大学)
短时傅立叶变换(STFT)被用作许多流行的成功的单声道语音分离方法的前端,例如深度聚类(DPCL)、排列不变训练(PIT)及其各种变体。由于短时傅立叶变换的频率成分是线性的,而人耳听觉系统的频率分布是非线性的。在这项工作中,我们提出并给出了一个实证研究,使用一个替代的前端称为恒定Q变换(CQT),而不是STFT,以实现更好的模拟人类听觉系统的频率分辨率。基于CQT的理想比率模板的理想语音分离的信号失真比(SDR)的上界比基于STFT的高。在WSJ 0 - 2 mix语料库上的相同实验设置中,我们检查了CQT在不同后端下的性能,包括原始DPCL,话语级PIT及其一些变体。实验结果表明,所有基于CQT的方法都优于基于STFT的方法,并且在SDR改进方面比基于STFT的方法平均提高了0.4dB。
2019-02-02 cs.SD eess.AS
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法,通过减少计算复杂性并保持性能,提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
语音去混响的一种有前途的方法是基于监督学习,其中训练深度神经网络(DNN)以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识,并且很少明确地利用混响中的线性滤波器结构,即,该混响由房间脉冲响应(RIR)和干源信号之间的线性卷积产生。在这项工作中,我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号,然后识别作为估计的直接路径信号的衰减和延迟副本的信号,因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响,也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本,我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器(或RIR)。然后,我们修改所提出的算法,在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB,SMS-WSJ,和WHAMR!数据集。
2021-11-10 cs.SD eess.AS
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Research Institute of Highway Ministry of Transport(交通运输部公路科学研究院)
最近,渐进式学习已经显示出其在与基于深度神经网络(DNN)和长短期记忆(LSTM)的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力,特别是在低信噪比(SNR)条件下。然而,由于大量的参数和高计算复杂性,很难在当前资源有限的微控制器中实现,因此,对于实际应用而言,显著减少参数的数量和计算负荷是必要的。为此,我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN,它利用了卷积神经网络和递归神经网络,大大减少了参数的数量,同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性,并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法,并且在客观测量方面,它也得到了接近甚至优于CRNN的结果。与PL-DNN,PL-LSTM和CRNN相比,所提出的PL-CRNN算法可以分别减少高达93%,97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
Spiking Structured State Space Model for Monaural Speech Enhancement
Tsinghua University(清华大学)
为解决语音增强中长序列建模与高计算成本的挑战,提出Spiking-S4模型,结合SNN的能效与S4的长程建模能力,在保持媲美ANN性能的同时显著降低了参数量与计算量。
2024-04-21 cs.CV cs.SD eess.AS
Real-time multichannel deep speech enhancement in hearing aids: Comparing monaural and binaural processing in complex acoustic scenarios
Carl von Ossietzky Universität Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学);Hörzentrum Oldenburg gGmbH(奥尔登堡听力中心有限责任公司)
本研究针对助听器实时低延迟需求,探索深度语音增强方法,对比单耳与双耳深度算法及传统策略在复杂声学场景的表现,发现双耳深度学习方法在空间干扰场景下性能最优。
2024-10-30 cs.SD eess.AS
A Time-domain Monaural Speech Enhancement with Feedback Learning
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
在本文中,我们提出了一种类型的神经网络与反馈学习在时域称为FTNet单声道语音增强,其中所提出的网络由三个主成分。第一部分称为阶段递归神经网络,引入该网络以有效地聚合具有记忆机制的跨不同阶段的深度特征依赖性,并且还逐阶段地去除干扰。第二部分是卷积自动编码器。第三部分由一系列级联的门控线性单元组成,这些单元能够促进信息流动并逐渐增加感受野。采用反馈学习提高参数学习效率,在不牺牲系统性能的前提下,有效地减少了可训练参数的个数。在TIMIT语料库上进行了大量的实验,实验结果表明,该网络在不同条件下的PESQ和STOI得分均优于两种基于时域的基线。
2020-11-05 cs.SD eess.AS
Self-Supervised Learning based Monaural Speech Enhancement with Multi-Task Pre-Training
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
在自监督学习中,如何利用已有的预处理任务来减小对估计语音信号和目标语音信号的增强效果之间的差距是一个具有挑战性的问题。在本文中,我们提出了一个多任务的预训练方法,以提高语音增强性能的自监督学习。在预训练自动编码器(PAE)中,仅需要有限的干净语音信号集合来学习它们的潜在表示。同时,为了解决单个预处理任务的局限性,本文提出的掩蔽模块利用去混响掩模和估计比率掩模作为第二预处理任务对混合噪声进行去噪。与PAE不同,在PAE中,目标语音信号被估计,下游任务自动编码器(DAE)利用大量未标记的和看不见的混响混合物来生成估计的混合物。经过训练的DAE由学习的表示和掩码共享。基准数据集上的实验结果表明,该方法优于国家的最先进的方法。
2021-12-21 cs.SD eess.AS
Online Monaural Speech Enhancement Using Delayed Subband LSTM
Westlake University(西湖大学)
针对在线单声道语音增强需求,提出跨频率复用LSTM的延迟子带网络,通过子带训练与输出延迟前瞻架构降低参数量并提升性能,在DNS数据集上优于GRU全带基线方法。
2020-05-11 cs.SD eess.AS
THLNet: two-stage heterogeneous lightweight network for monaural speech enhancement
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Acoustics, CAS(中国科学院声学研究所)
本文提出THLNet,一种用于单声道语音增强的两阶段异构轻量级网络,通过LCRB滤波器组与异构主干设计,在保持模型轻量与低算力的同时优于现有最先进方法。
2023-05-19 cs.SD eess.AS
D2Former: A Fully Complex Dual-Path Dual-Decoder Conformer Network using Joint Complex Masking and Complex Spectral Mapping for Monaural Speech Enhancement
Alibaba Group(阿里巴巴集团)
单声道语音增强已被广泛研究,使用真正的网络在时间-频率(TF)域。然而,输入和目标在TF域中自然是复值的,完全复杂的网络对于有效地学习特征表示和在复域中对序列建模是非常理想的。此外,相位,语音的感知质量的一个重要因素,已被证明是可学习的一起从噪声语音使用复杂的掩蔽或复杂的频谱映射的幅度。最近的许多研究集中在复掩蔽或复光谱映射,忽略了它们的性能边界。为了解决上述问题,我们提出了一个完全复杂的双路径双解码器构象网络(D2 Former)使用联合复掩蔽和复频谱映射单声道语音增强。在D2 Former中,我们将构象网络扩展到复域,形成了一个双路径复TF自注意体系结构,用于有效地对复值TF序列进行建模。我们进一步提高TF特征表示的编码器和解码器使用双路径学习结构,利用复杂的扩张卷积的时间依赖性和复杂的前馈顺序记忆网络(CFSMN)的频率递归。此外,我们通过将两个训练目标的优势结合到联合学习框架中来提高复掩蔽和复谱映射的性能边界。因此,D2 Former充分利用了复值运算、双路径处理和联合训练目标。与以前的模型相比,D2 Former在VoiceBank+Demand基准测试中获得了最先进的结果,模型尺寸最小,仅为0.87 M参数。
2023-02-23 cs.SD eess.AS
Rethinking complex-valued deep neural networks for monaural speech enhancement
Meta
尽管针对采用复值深度神经网络(DNN)做出了多种努力,但对于单声道语音增强,复值DNN通常是否比实值DNN更有效仍然是一个悬而未决的问题。这项工作致力于通过系统地检查复值DNN与实值DNN的对比来进行关键评估。具体来说,我们研究了复值DNN原子单元,包括线性层、卷积层、长短期记忆(LSTM)和门控线性单元。通过比较最近开发的门控卷积递归网络(GCRN)中基本构建块的复值和实值版本,我们展示了基本块的不同机制如何影响性能。我们还发现,使用复值操作阻碍了模型容量时,模型的大小是小的。此外,我们还研究了两种最近的复值DNN,即深度复卷积递归网络(DCCRN)和深度复U网(DCUNET)。评估结果表明,这两个DNN产生相同的性能,他们的实值同行,但需要更多的计算。基于这些全面的比较,我们得出结论,复值DNN不提供性能增益超过其实值对应的单声道语音增强,因此是不太可取的,由于其较高的计算成本。
2023-01-11 cs.LG cs.SD eess.AS
Time-Frequency Attention for Monaural Speech Enhancement
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Meta AI;CSIRO(澳大利亚联邦科学与工业研究组织);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
语音信号的时频能量分布对于准确预测语音信号的掩模或频谱是非常重要的,但大多数语音增强的研究都没有考虑到这一点。在本文中,我们提出了一个简单而有效的T-F注意力(TFA)模块,其中产生的2-D注意力图提供不同的权重的频谱分量的T-F表示。为了验证我们提出的TFA模块的有效性,我们使用残差时间卷积网络(ResTCN)作为骨干网络,并对两个常用的训练目标进行了广泛的实验。我们的实验表明,应用我们的TFA模块显着提高性能方面的五个客观的评价指标,可以忽略不计的参数开销。评估结果表明,建议的ResTCN与TFA模块(ResTCN+TFA)始终优于其他基线的大幅度。
2022-03-09 cs.SD eess.AS
ZipEnhancer: Dual-Path Down-Up Sampling-based Zipformer for Monaural Speech Enhancement
Alibaba Group(阿里巴巴集团)
提出 ZipEnhancer,通过时域与频域双路径下-上采样及 ZipformerBlock 降低四轴特征计算开销,并在 DNS 2020 与 Voicebank+DEMAND 上以低复杂度取得 SOTA。
2025-01-09 cs.SD eess.AS
Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure
Aalborg University(奥尔堡大学)
在本文中,我们提出了一种基于深度神经网络(DNN)的语音增强(SE)系统,该系统旨在最大限度地提高短时客观可懂度(STOI)测量的近似值。我们形式化了一个近似的STOI成本函数,并推导出DNN训练所需梯度的解析表达式,并表明这些梯度在与基于梯度的优化技术一起使用时具有理想的特性。我们通过模拟实验表明,所提出的SE系统实现了很大的改善,估计语音清晰度,匹配和不匹配的自然噪声类型,在多个信号噪声比进行测试时。此外,我们表明,SE系统,当训练使用近似STOI成本函数执行与系统训练的均方误差成本应用于短时间的时间包络。最后,我们表明,所提出的SE系统在估计的语音清晰度方面与传统的基于DNN的短时谱幅度(STSA)SE系统表现相当。这些结果很重要,因为它们表明传统的基于DNN的STSA SE系统在估计的语音清晰度方面可能是最佳的。
2018-02-02 cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.(3M健康信息系统公司)
在许多语音处理应用中,语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的(SOTA)结果。一类被称为时间卷积网络(TCN)的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野(RF)。语音去混响的最新研究表明,TCN的最佳RF随语音信号的混响特性而变化。在这项工作中,提出了可变形卷积作为一种解决方案,允许TCN模型具有动态RF,可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比(SISDR)的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议,它提供了可比的分离性能更大,更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Real-time Monaural Speech Enhancement With Short-time Discrete Cosine Transform
Unisound AI Technology Co. Ltd.(云知声智能科技股份有限公司)
基于深度学习的语音增强算法在语音可懂度和感知质量方面都有了很大的提高。许多方法都是在利用混合相位进行语音重建的同时,对幅度谱进行增强。由于清洁阶段非常重要且难以预测,因此这些方法的性能将受到限制。一些研究者尝试直接或间接估计相位谱,但效果并不理想。近年来,一些研究提出了复值模型,并取得了最先进的性能,如深度复卷积递归网络(DCCRN)。然而,该模型的计算量是巨大的。为了降低复杂度,进一步提高性能,本文提出了一种新的以离散余弦变换为输入的方法,称为深度余弦变换卷积递归网络(DCTCRN)。实验结果表明,DCTCRN实现了国家的最先进的客观和主观指标的性能。与噪声混合物相比,平均意见得分(MOS)增加了0.46(2.86至3.32)的绝对处理所提出的模型只有2.86M的参数。
2021-02-09 cs.SD eess.AS
Monaural Speech Enhancement Using a Multi-Branch Temporal Convolutional Network
深度学习在单通道语音增强任务上取得了实质性的改进。然而,基于多层感知(MLP)的方法的性能受到捕获长期有效历史信息的能力的限制。递归神经网络(RNN),例如,长短期记忆(LSTM)模型能够捕捉长时间的时间依赖关系,但存在高延迟和训练复杂度的问题,为了解决这些问题,提出了时间卷积网络(TCN)来代替RNN进行各种序列建模任务。本文提出了一种基于多分支结构的单声道语音增强的TCN模型--多分支TCN(MB-TCN),该模型采用分裂-变换-聚合的设计方法,以较低的计算复杂度获得较强的表示能力,并在TCN模型的启发下,MB-TCN模型结合了一维因果扩张的CNN和残差学习,以扩展用于捕获长-我们广泛的实验研究表明,MB-TCN优于残留的长短时记忆网络,(ResLSTM)、时间卷积网络(TCN)以及在语音可懂度和质量方面采用密集聚合的CNN网络,同时提供优异的参数效率。此外,我们的实验结果表明,我们提出的MB-TCN模型能够在五个广泛使用的客观指标方面优于多种最先进的基于深度学习的语音增强方法。
2020-05-17 eess.AS eess.SP
Spectral Masking with Explicit Time-Context Windowing for Neural Network-Based Monaural Speech Enhancement
Eindhoven University of Technology(埃因霍温理工大学);NXP Semiconductors(恩智浦半导体)
提出一种显式时间上下文加窗方法,通过在神经网络输入输出端结合多上下文估计改善软掩蔽过程,无需额外训练且参数增加不到1%,有效提升了去噪语音的可懂度与质量。
2024-08-28 cs.SD eess.AS
PCNN: A Lightweight Parallel Conformer Neural Network for Efficient Monaural Speech Enhancement
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
本文提出一种用于单声道语音增强的轻量级并行Conformer神经网络(PCNN),通过结合多分支空洞卷积和自通道-时频注意力模块,在保持最低模型参数量的同时,在多数评估标准上优于现有最先进方法。
2023-07-28 cs.SD eess.AS
Receptive Field Analysis of Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield(谢菲尔德大学)
语音去混响通常是鲁棒语音处理任务中的重要要求。有监督的深度学习(DL)模型为单通道语音去混响提供了最先进的性能。时间卷积网络(TCN)通常用于语音增强任务中的序列建模。TCN的一个特征是它们具有依赖于特定模型配置的感受野(RF),该模型配置确定可以被观察以产生单个输出帧的输入帧的数量。它已被证明,TCN是能够执行去混响的模拟语音数据,然而,一个彻底的分析,特别是与RF的重点还缺乏在文献中。本文分析了TCN的模型尺寸和RF对混响抑制性能的影响。实验使用WHAMR语料库,扩展到包括房间脉冲响应(RIR)与较大的T60值表明,一个较大的RF可以有显着的改善性能时,训练较小的TCN模型。它还表明,TCN受益于更广泛的RF时,去混响RIR与较大的RT60值。
2022-07-01 cs.LG cs.SD eess.AS
Ripple sparse self-attention for monaural speech enhancement
Shenzhen Research Institute of Big Data(深圳大数据研究院);Agency for Science, Technology and Research(新加坡科技研究局);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National University of Singapore(新加坡国立大学)
针对Transformer自注意力二次复杂度及忽略局部相关性的问题,提出涟漪注意力,通过局部频带与膨胀注意力分别建模局部和全局依赖,在语音增强中优于全自注意力等方法。
2023-05-15 cs.SD eess.AS
MDNet: Learning Monaural Speech Enhancement from Deep Prior Gradient
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Technologies Co. Ltd.(华为技术有限公司)
传统的基于统计信号处理模型的方法可以根据特定的统计假设导出最优估计器,而当前基于学习的方法通过深度神经网络进一步提升性能上限,但代价是高封装性和缺乏足够的可解释性。基于传统的基于模型的方法和基于学习的方法之间的交叉点,我们提出了一种基于最大后验概率(MAP)框架的模型驱动的方法,称为MDNet,用于单通道语音增强。具体而言,原问题被制定为联合后验估计w.r.t.语音和噪音分量。与以往对先验项的人工假设不同,本文提出通过网络对先验分布进行建模,从而可以从训练数据中学习。该框架采用展开结构,在每一步中,目标参数可以通过显式梯度下降操作逐步估计。此外,另一个网络作为融合模块,以进一步完善以前的语音估计。在WSJ 0-SI 84和Interspeech 2020 DNS-Challenge数据集上进行了实验,定量结果表明,所提出的方法优于以前的最先进的基线。
2022-03-16 cs.SD eess.AS
Efficient Monaural Speech Enhancement using Spectrum Attention Fusion
Sichuan Normal University(四川师范大学);Simon Fraser University(西蒙弗雷泽大学);Sichuan Key Laboratory of Translational Medicine of Traditional Chinese Medicine(四川省中医药转化医学重点实验室);Visual Computing and Virtual Reality Key Laboratory of Sichuan(四川省视觉计算与虚拟现实重点实验室)
针对Transformer语音增强模型计算成本高的问题,提出Spectrum Attention Fusion方法,用卷积模块替换部分自注意力层以高效融合频谱特征,在保持表达能力的同时显著降低参数量,并在Voice Bank+DEMAND数据集上取得SOTA性能。
2023-08-04 cs.CL cs.SD eess.AS
Towards Decoupling Frontend Enhancement and Backend Recognition in Monaural Robust ASR
The Ohio State University(俄亥俄州立大学)
本文提出用ARN时域与CrossNet时频域增强模型,将前端语音增强与仅用干净语音训练的后端ASR完全解耦,在多个噪声与混响语料上显著降低WER并提升真实场景泛化能力。
2024-03-11 cs.SD eess.AS
Survey of End-to-End Multi-Speaker Automatic Speech Recognition for Monaural Audio
Worcester Polytechnic Institute(沃斯特理工大学)
本文系统综述了端到端多说话人自动语音识别的神经架构范式(SIMO与SISO)、近期改进方法及长语音扩展策略,并通过标准基准评估比较了各类方法。
2026-05-27 cs.AI cs.CL cs.SD
Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield(谢菲尔德大学)
语音去混响是许多语音技术应用中的一个重要阶段。最近在这一领域的工作一直由深度神经网络模型主导。时间卷积网络(TCN)是深度学习模型,已被提出用于语音去混响任务中的序列建模。在这项工作中,加权多膨胀深度可分离卷积提出了取代标准的深度可分离卷积TCN模型。这种建议的卷积使TCN能够动态地关注网络中每个卷积块的感受野中或多或少的局部信息。结果表明,这种加权多膨胀时间卷积网络(WD-TCN)在各种模型配置中始终优于TCN,并且使用WD-TCN模型是一种比增加卷积块数量更有效的参数方法来提高模型的性能。与基线TCN相比,最佳性能改善为0.55 dB尺度不变信号失真比(SISDR),而WD-TCN模型在WHAMR数据集上的最佳性能达到12.26 dB SISDR。
2022-07-22 cs.LG cs.SD eess.AS
Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses
Alibaba Group(阿里巴巴集团)
针对单声道语音增强任务,提出轻量级复卷积块注意力模块(CCBAM)并结合联合时频损失函数,集成到深度复U-Net和CRN中形成新端到端框架,实验验证其性能优越。
2024-11-28 cs.LG cs.SD eess.AS
Tensor-Train Long Short-Term Memory for Monaural Speech Enhancement
Idiap Research Institute(Idiap研究所);Indian Institute of Technology (IIT) Kharagpur(印度理工学院卡拉格普尔分校)
近年来,长短期记忆(LSTM)已成为语音分离和语音增强任务的热门选择。LSTM网络的能力可以通过扩大和增加更多的层来增强。然而,这将在网络中引入数百万个参数,并且还增加了对计算资源的需求。这些限制阻碍了RNN模型在低端设备(如手机和内存有限的嵌入式系统)中的有效实现。为了克服这些问题,我们提出了一种有效的替代方法,通过基于Tensor-Train(TT)格式表示LSTM的权重矩阵参数来减少参数。我们将这种Tensor-Train分解的LSTM称为TT-LSTM模型。基于这个TT-LSTM单元,我们提出了一个用于单通道语音增强任务的深度TensorNet模型。在各种测试条件下以及标准语音质量和可懂度指标方面的实验结果表明,所提出的基于深度TT-LSTM的语音增强框架可以实现与最先进的未压缩RNN模型竞争的性能,即使所提出的模型架构的复杂度低了几个数量级。
2018-12-25 cs.LG cs.SD eess.AS
Investigation of Monaural Front-End Processing for Robust ASR without Retraining or Joint-Training
Elevoc Technology Co.,Ltd.(深圳大象声科科技有限公司)
近年来,单声道语音分离被定义为一个监督学习问题,并得到了系统的研究,对提高语音的可懂度和质量有着重要的意义。然而,还没有很好地研究这些方法是否可以用作前端处理并直接提高机器监听器的性能,即,自动语音识别器,而无需重新训练或联合训练声学模型。在本文中,我们探索了独立前端处理在CHiME-3挑战中对多条件训练ASR的有效性。我们发现,直接馈送增强功能的ASR可以使36.40%和11.78%的相对WER减少基于GMM和基于DNN的ASR分别。我们还研究了噪声相位和非匹配噪声条件下的泛化能力的影响。
2018-10-24 cs.MM cs.SD eess.AS
On Loss Functions for Supervised Monaural Time-Domain Speech Enhancement
Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
许多基于深度学习的语音增强算法被设计为最小化预测和目标语音信号之间的某个变换域中的均方误差(MSE)。然而,优化MSE并不一定保证高的语音质量或可懂度,这是许多语音增强算法的最终目标。此外,关于损失函数对新兴的基于时域深度学习的语音增强系统的影响知之甚少。我们研究了流行的损失函数如何影响基于深度学习的语音增强系统的性能。首先,我们证明了感知启发损失函数可能是有利的,如果接收器是人类听觉系统。此外,我们表明,学习率是一个重要的设计参数,即使是自适应梯度为基础的优化,这在文献中被普遍忽视。此外,我们发现必须谨慎使用波形匹配性能指标,因为它们在某些情况下可能完全失败。最后,我们表明,一个损失函数的尺度不变的信号失真比(SI-SDR)的基础上实现了良好的一般性能在一系列流行的语音增强评价指标,这表明,SI-SDR是一个很好的候选人作为通用的损失函数语音增强系统。
2020-01-30 cs.LG cs.SD eess.AS
FurcaNeXt: End-to-end monaural speech separation with dynamic gated dilated temporal convolutional networks
Harbin Institute of Technology(哈尔滨工业大学);Fujitsu R & D Center(富士通研发中心);Shuangfeng First(双峰首(北京))
本文提出多种改进的时序卷积网络(FurcaNeXt等)用于端到端单耳语音分离,通过置换不变训练直接优化语句级SDR,在WSJ0-2mix上实现18.4dB提升。
2023-06-26 cs.SD eess.AS
An Empirical Study on the Impact of Positional Encoding in Transformer-based Monaural Speech Enhancement
University of New South Wales(新南威尔士大学);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Meta;The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文实证研究了五种位置编码方法在因果与非因果配置下对基于Transformer的单声道语音增强的影响,发现非因果配置显著受益于位置编码且相对位置嵌入优于绝对位置嵌入,而因果配置则帮助不大。
2024-02-13 cs.SD eess.AS
A Monaural Speech Enhancement Method for Robust Small-Footprint Keyword Spotting
Inner Mongolia University(内蒙古大学);Harbin Institute of Technology(哈尔滨工业大学)
对噪声的鲁棒性对于现实环境中的关键字定位(KWS)至关重要。为了提高鲁棒性,涉及语音增强前端。在这项研究中,一个预先训练好的语音增强前端和一个基于卷积神经网络(CNN)的KWS系统连接起来,而不是把语音增强作为一个单独的预处理之前的KWS系统,其中一个特征变换块被用来将增强前端的输出转换成KWS系统的输入。整个模型是联合训练的,因此来自KWS系统的语言和其他有用的信息可以反向传播到增强前端,以提高其性能。为了适应小尺寸器件,提出了一种新的卷积递归网络,它需要较少的参数和计算量,并且不会降低性能。此外,通过将输入特征从功率谱图转换为Mel谱图,计算量更小,性能更好。我们的实验结果表明,所提出的方法显着提高KWS系统的噪声鲁棒性。
2019-06-20 cs.LG cs.MM cs.SD
Low-latency Monaural Speech Enhancement with Deep Filter-bank Equalizer
University of Chinese Academy of Sciences(中国科学院大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
对于诸如数字助听器、透声听力设备和公共广播系统的许多应用,高度期望语音增强算法能够实现良好的性能,同时保持低延迟。为了提高传统低时延语音增强算法的性能,提出了一种深度滤波器组均衡器(FBE)框架,该框架集成了基于深度学习的子带降噪网络和基于深度学习的缩短数字滤波器映射网络。在第一个网络中,使用可控的小帧移位来训练深度学习模型,以满足低延迟需求,即,$\le$ 4 ms,以便获得(复数)子带增益,其可以被视为每帧中的自适应数字滤波器。在第二个网络中,为了减少延迟,这种自适应数字滤波器通过基于深度学习的框架隐式缩短,然后应用于含噪语音,以重建增强的语音,而不使用叠加方法。在WSJ 0-SI 84语料库上的实验结果表明,该算法在PESQ、STOI和降噪量等指标上均优于传统的低延迟语音增强算法,且延迟仅为4 ms.
2022-02-14 cs.SD eess.AS eess.SP