SNR-Based Teachers-Student Technique for Speech Enhancement
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology(内蒙古蒙古文信息处理技术重点实验室)
语音增强方法如何同时在高信噪比和低信噪比下获得鲁棒性能是一个非常具有挑战性的问题。在本文中,我们提出了一种方法,集成了基于信噪比的师生技术和时域U网来处理这个问题。具体来说,该方法由多个教师模型和一个学生模型组成。我们首先在多个互不重合的小范围SNR下对教师模型进行训练,使其能够在特定的SNR范围内很好地进行语音增强。然后,根据训练数据的信噪比选择不同的教师模型来监督学生模型的训练。最后,学生模型可以在高信噪比和低信噪比下进行语音增强。为了评估所提出的方法,我们基于公共数据集构建了一个SNR范围从-20 dB到20 dB的数据集。我们实验分析了基于信噪比的师生技术的有效性,并将所提出的方法与几种最先进的方法进行了比较。
2020-10-29 cs.CL cs.SD eess.AS
DNN Based Speech Enhancement for Unseen Noises Using Monte Carlo Dropout
Indian Institute of Science(印度科学学院)
在这项工作中,我们提出使用辍学作为贝叶斯估计器,以提高深度神经网络(DNN)的泛化能力,用于语音增强。通过使用蒙特卡罗(MC)丢弃,我们表明DNN在不可见噪声和SNR条件下具有更好的增强效果。DNN在SNR为0,5和10 dB的Factory 2,M109,Babble,Leopard和Volvo噪声中进行语音训练,并在白色,粉红色和factory 1噪声中进行语音测试。语音样本来自TIMIT数据库,噪声来自NOISEX-92。在另一个实验中,我们训练五个DNN模型,分别对Factory 2,M109,Babble,Leopard和Volvo噪声,在0,5和10 dB SNR下的语音进行破坏。模型精度(使用MC dropout估计)用作平方误差的代理,以根据DNN模型在每帧测试数据上的性能动态选择最佳DNN模型。
2018-06-01 cs.SD eess.AS
GMM based multi-stage Wiener filtering for low SNR speech enhancement
The Australian National University(澳大利亚国立大学)
本文提出了一种单通道语音增强方法,用于在低信噪比和非平稳噪声条件下对语音进行降噪和增强。具体来说,我们专注于使用高斯混合模型(GMM)的基础上的多阶段过程与参数维纳滤波器的噪声建模。与传统的维纳滤波方法相比,所提出的噪声模型估计更准确的噪声功率谱密度(PSD),并允许在各种噪声条件下更好的泛化。仿真结果表明,该方法可以实现更好的性能,在语音质量(PESQ)和可懂度(STOI)在低信噪比水平。
2022-07-14 cs.RO cs.SD eess.AS
A two-step approach for speech enhancement in low-SNR scenarios using cyclostationary beamforming and DNNs
本文提出一种结合循环平稳预处理与轻量级DNN的两步语音增强方法,有效提升低信噪比下的语音质量。
2026-02-13 cs.SD eess.AS
PROSE: Perceptual Risk Optimization for Speech Enhancement
Indian Institute of Science(印度科学理工学院);Indian Railways(印度铁路公司)
语音增强的目标是通过最小化所选择的失真度量来从噪声信号开始获得干净语音的估计,这导致取决于未知的干净信号或其统计的估计。由于在实践中对这种先验知识的访问是有限的或不可能的,因此必须估计干净的信号统计。在本文中,我们开发了一个新的风险最小化框架语音增强,其中,一个优化的失真/风险的无偏估计,而不是实际的风险。估计的风险仅表示为噪声观测的函数。我们考虑几个感知相关的失真措施,并制定相应的无偏估计的噪声分布和先验信噪比(SNR)的现实假设。最小化的风险估计产生相应的降噪,这是一个后验SNR的非线性函数。语音质量的感知评价(PESQ),平均分段信噪比(SSNR)的计算,和听力测试表明,建议的风险优化方法采用Itakura-Saito和加权双曲余弦失真比其他失真措施提供了更好的性能。对于信噪比大于5 dB,所提出的方法提供了优越的去噪性能的基准技术的基础上的维纳滤波器,对数MMSE最小化,贝叶斯非负矩阵分解。
2017-10-11 cs.SD eess.AS
DCCRN+: Channel-wise Subband DCCRN with SNR Estimation for Speech Enhancement
Northwestern Polytechnical University(西北工业大学)
深度复卷积递归网络(DCCRN)以复杂的结构扩展了CRN,在Interspeech 2020深度噪声抑制挑战赛(DNS 2020)的MOS评估中取得了优异的性能。本文通过以下重大修订进一步扩展了DCCRN。我们首先将模型扩展到子带处理,其中通过可学习的神经网络滤波器而不是工程FIR滤波器来分割和合并频带,从而以端到端的方式训练更快的噪声抑制器。然后,LSTM被进一步替换为复杂的TF-LSTM,以更好地沿时间和频率轴对时间依赖性进行建模。此外,我们不是简单地将每个编码器层的输出连接到相应解码器层的输入,而是使用卷积块首先从编码器输出中聚合基本信息,然后将其馈送到解码器层。我们特别制定了一个额外的先验信噪比估计模块的解码器,以保持良好的语音质量,同时消除噪声。最后采用后处理模块进一步抑制非自然残留噪声。这款名为DCCRN+的新机型在PESQ和DNSMOS方面已经超越了原有的DCCRN以及几款竞争机型,并在全新的Interspeech 2021 DNS挑战赛中取得了优异的成绩
2021-06-16 cs.SD eess.AS
GAN-Based Speech Enhancement for Low SNR Using Latent Feature Conditioning
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室)
本文提出 DisCoGAN,利用低信噪比语音增强判别式模型的潜在特征条件化时频域生成对抗网络,在语音质量上优于判别式方法和端到端 GAN。
2024-10-17 cs.SD eess.AS eess.SP
Improved Remixing Process for Domain Adaptation-Based Speech Enhancement by Mitigating Data Imbalance in Signal-to-Noise Ratio
CyberAgent, Inc.(CyberAgent 公司)
针对基于域自适应的语音增强中伪数据信噪比不平衡导致性能欠佳的问题,提出采用课程学习覆盖更广信噪比范围,经CHiME-7 UDASE任务数据集验证可提升低占比数据的增强性能。
2024-06-20 cs.SD eess.AS
Using Monte Carlo dropout for non-stationary noise reduction from speech
Indian Institute of Science(印度科学学院)
在这项工作中,我们建议使用dropout作为贝叶斯估计器,以提高用于语音增强的深度神经网络(DNN)的可推广性。通过使用蒙特卡罗(MC)丢弃,我们表明DNN在不可见噪声和SNR条件下具有更好的增强效果。DNN在SNR为0,5和10 dB的Factory 2,M109,Babble,Leopard和Volvo噪声中进行语音训练。语音样本来自TIMIT数据库,噪声来自NOISEX-92。在另一个实验中,我们训练五个DNN模型,分别对Factory 2,M109,Babble,Leopard和Volvo噪声,在0,5和10 dB SNR下的语音进行破坏。模型精度(使用MC dropout估计)用作平方误差的代理,以根据DNN模型在每帧测试数据上的性能动态选择最佳DNN模型。我们提出了一个算法,在模型精度上设置一个阈值,在基于分类器的模型选择方案和基于模型精度的选择方案之间进行切换。测试是在被看不见的噪声White、Pink和Factory 1以及所有五种可见噪声破坏的语音上进行的。
2018-08-28 cs.SD eess.AS
Multi-modal Speech Enhancement with Limited Electromyography Channels
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);Fortemedia Singapore(Fortemedia新加坡公司)
针对现有基于肌电的语音增强方法通道多实用性弱的问题,提出结合8通道肌电与声学信号、带跨模态模块的改进SEMamba网络,显著提升低信噪比下语音增强效果与鲁棒性。
2025-01-11 cs.SD eess.AS
Grounded Decoding for Autoregressive Speech Enhancement via Adaptive Code-Space Grounding and Local LLM Refinement
Kyoto University(京都大学);Meta;Brno University of Technology(布尔诺理工大学);School of Electronic Information, Wuhan University(武汉大学电子信息学院);Academia Sinica(中央研究院(中国台湾));National Institute of Information and Communications Technology, Japan(日本信息通信研究机构)
该研究针对现有语音增强方法的缺陷,提出含自适应代码空间对齐(SNR-CSG)及LLM优化(GNR-LLM)的框架,实验验证其可提升低信噪比语音感知质量且不损失内容保真度。
2026-09-07 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield(谢菲尔德大学);WS Audiology(西万拓听力技术公司);Toshiba(东芝)
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离,以提升可懂度,实验显示相比SNR损失,HASPI、STOI、PESQ和SI-SNR均提高,且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Communication-Cost Aware Microphone Selection For Neural Speech Enhancement with Ad-hoc Microphone Arrays
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究院)
在本文中,我们提出了一种联合学习的麦克风选择机制和语音增强网络的多通道语音增强与ad-hoc麦克风阵列的方法。基于注意力的麦克风选择机制被训练为通过表示任务性能/通信成本权衡的惩罚项来降低通信成本。在权衡的同时,我们的方法可以智能地从更低SNR场景中的更多麦克风和更高SNR场景中的更少麦克风进行流传输。我们评估了该模型在复杂的回声声学场景与移动源,并表明,它匹配的模型,从一个固定数量的麦克风流的性能,同时降低通信成本。
2021-04-21 cs.SD eess.AS
SNR-Based Features and Diverse Training Data for Robust DNN-Based Speech Enhancement
在本文中,我们解决了基于深度神经网络(DNN)的语音增强在训练数据大小和多样性有限的情况下对不可见噪声条件的泛化。为了获得更多的见解,我们分析了泛化方面:(1)训练数据的大小和多样性,(2)不同的网络架构,以及(3)选择的特征。为了解决(1),我们在Hu噪声语料库(有限大小)、CHiME 3噪声语料库(有限多样性)上训练网络,并且还提出了基于免费可用的声音收集的大而多样的数据集。为了解决(2),我们比较了全连接前馈和长短期记忆(LSTM)架构。为了解决(3),我们比较了三个输入特征,即量化的噪声周期图,噪声感知训练(NAT)和提出的基于信噪比(SNR)的噪声感知训练(SNR-NAT)。我们证实,丰富的训练数据和改进的网络架构有助于DNN的推广。此外,我们通过实验结果和使用t分布随机邻居嵌入(t-SNE)的分析表明,即使使用简单的网络架构,并且仅在小数据集上训练时,所提出的SNR-NAT特征也会在不可见的噪声中产生鲁棒和水平独立的结果,这是本文的关键贡献。
2021-05-15 cs.LG cs.SD eess.AS
Investigation of Phase Distortion on Perceived Speech Quality for Hearing-impaired Listeners
Indiana University(印第安纳大学)
相位是影响语音质量和可懂度的关键因素。当前的语音增强算法开始解决相位失真,但这些算法集中于正常听力(NH)收听者。目前尚不清楚相位增强是否有利于听力受损(HI)的听众。我们通过一项听力研究调查了相位失真对语音质量的影响,在这项研究中,NH和HI听众使用MUSHRA程序提供了语音质量评级。在一组条件下,语音与-5至10 dB的4种不同信噪比(SNR)下的多路重合噪声混合。在另一组条件下,SNR固定在10 dB,嘈杂语音在模拟混响室中呈现,T60范围为100至1000 ms。NH听众的语音水平保持在65 dB SPL,HI听众应用放大以确保可听度。采用理想比率掩蔽法对语音增强进行了仿真。两个客观度量(即,PESQ和HASQI)被用来比较主观和客观评级。结果表明,相位失真有负面影响的感知质量为两组和PESQ更密切相关的人的评级。
2020-07-29 cs.SD eess.AS
Diffusion-based Speech Enhancement with Schrödinger Bridge and Symmetric Noise Schedule
Logitech(罗技);EPFL(洛桑联邦理工学院);Logitech Europe(罗技欧洲);EPFL SDSC(洛桑联邦理工学院数据科学中心)
针对扩散语音增强模型结构信息缺失、低信噪比下性能差的问题,提出基于薛定谔桥的SBSE方法,结合含比率掩码的两阶段系统,实现低推理步数下的最优性能。
2024-09-13 cs.SD eess.AS
Improving Dual-Microphone Speech Enhancement by Learning Cross-Channel Features with Multi-Head Attention
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
诸如通道间强度差(IID)和通道间相位差(IPD)之类的手工制作的空间特征在最近的基于深度学习的双麦克风语音增强(DMSE)系统中起着基本作用。然而,学习人工设计的空间和光谱特征之间的相互关系是很难在端到端DMSE。在这项工作中,提出了一种新的架构DMSE使用多头交叉注意基于卷积递归网络(MHCA-CRN)。提出的MHCA-CRN模型包括一个通道的编码结构,以保持通道内的功能和多头交叉注意机制,充分利用跨通道的功能。此外,该方法还在解码器中加入了额外的SNR估计器,以在多任务学习框架下估计帧级SNR,从而避免了端到端DMSE模块导致的语音失真。最后,采用谱增益函数进一步抑制非自然残留噪声。实验结果表明,该模型对几个国家的最先进的模型的优越性能。
2022-05-03 cs.SD eess.AS
A Divide and Conquer Strategy for Musical Noise-free Speech Enhancement in Adverse Environments
Texas A&M University(德州农工大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
本文提出了一种在低信噪比环境下对含噪语音进行增强的分而治之的策略,将整个语音增强系统分为两个独立的步骤。第一步是基于短时间幅度的噪声补偿,第二步是基于相位补偿。基于改进的谱减法对幅度谱进行补偿,该方法考虑了传统谱减法忽略的噪声谱和纯净语音谱的交叉项。通过采用修正的幅度和不变的相位,制定了一个程序来补偿高估或低估的噪声的相位补偿方法的基础上的语音存在的概率。在此基础上得到了一个修正的复谱,并用于合成一个无音乐噪声的增强语音。广泛的模拟进行使用的语音文件在NOIZEUS数据库中,以评估所提出的方法的性能。它示出的客观措施,频谱图分析和正式的主观听力测试,所提出的方法始终优于一些国家的最先进的语音增强的方法,在非常低的信噪比以及中等水平的街道或多路重合噪声损坏的嘈杂的语音。
2018-02-07 cs.SD eess.AS
Self-attending RNN for Speech Enhancement to Improve Cross-corpus Generalization
The Ohio State University(俄亥俄州立大学)
深度神经网络(DNN)代表了监督语音增强的主流方法,这主要是因为它们能够使用分层表示对复杂函数进行建模。然而,最近的一项研究表明,在单个语料库上训练的DNN无法推广到未经训练的语料库,特别是在低信噪比(SNR)条件下。开发一种与噪声、说话人和语料库无关的语音增强算法对于实际应用是必不可少的。在这项研究中,我们提出了一个自关注递归神经网络,或关注递归网络(ARN),时域语音增强,以提高跨语料库的泛化。ARN由递归神经网络(RNN)组成,并增加了自注意块和前馈块。我们评估ARN在不同的语料库与非平稳噪声在低信噪比条件下。实验结果表明,ARN大大优于竞争的时域语音增强方法,如RNN和双路径ARN。此外,我们还报告了一个重要的发现,即两种流行的语音增强方法:复谱映射和时域增强,在大规模训练的情况下,RNN和ARN获得了类似的结果。我们还提供了一个具有挑战性的子集的测试集在这项研究中使用的评估未来的算法,并促进直接比较。
2022-03-18 cs.SD eess.AS
Quantum Fourier Transform Based Denoising: Unitary Filtering for Enhanced Speech Clarity
CRL Bharat Electronics Limited(巴拉特电子有限公司中央研究实验室);Indian Institute of Technology Delhi(印度理工学院德里分校)
本研究提出将量子傅里叶变换(QFT)集成到经典音频增强流水线的量子启发去噪框架,替换传统滤波器中的FFT,在多SNR条件下实现最高15dB的SNR提升,且低SNR与非平稳噪声下鲁棒性好、无额外开销,为量子增强语音处理提供可扩展路径。
2025-09-05 cs.ET cs.SD eess.AS
Online Monaural Speech Enhancement Based on Periodicity Analysis and A Priori SNR Estimation
University of Oldenburg(奥尔登堡大学)
本文提出了一种单声道含噪语音的在线增强算法。首先,一种新的相位校正低延迟伽玛滤波器组推导出信号子带分解和再合成,然后子带信号逐帧分析。其次,提出了一种新的特征周期度(PD),用于检测和估计每帧中的基本周期(P0),并估计每个帧子带信号单元的信噪比(SNR)。PD计算在每个单元的归一化自相关和梳状滤波器比的乘法,并示出在各种低SNR条件下是鲁棒的。第三,基于具有高PD的单元的估计SNR和基于具有低PD的单元的噪声信号能量水平,递归地估计每个信号单元中的噪声能量水平。然后,先验SNR估计使用的决策导向的方法与估计的噪声水平。最后,计算修正的维纳增益,平滑并应用于每个单元;处理后的单元在子带和帧之间求和以形成增强的信号。该算法的P0检测精度进行了评估,在两个语料库,并表现出相当的性能在一个语料库和更好的性能在其他语料库相比,最近发表的音高检测算法。语音增强效果的算法进行了评估一个语料库与两个客观标准,并表现出更好的性能在一个高度非平稳噪声和性能相当的其他两个噪声相比,一个国家的最先进的基于模型的算法。
2015-07-08 cs.SD
Components Loss for Neural Networks in Mask-Based Speech Enhancement
Institute for Communications Technology, Technische Universität Braunschweig(布伦瑞克工业大学通信技术研究所)
使用深度学习方法估计用于单通道语音增强的时频域掩模最近已成为一个热门的研究领域,并取得了可喜的成果。在本文中,我们提出了一种新的成分损失(CL)的神经网络的训练基于掩码的语音增强。在训练过程中,所提出的CL提供单独的控制保留的语音分量的质量,抑制的残留噪声分量,并保留一个自然的声音残留噪声分量。我们说明了潜在的建议CL通过评估一个标准的卷积神经网络(CNN)基于掩码的语音增强。新的CL获得了更好的和更平衡的性能,在几乎所有采用的仪器质量指标超过基线损失,后者包括传统的均方误差(MSE)的损失,也与语音相关的损失功能,如语音质量的感知评估(PESQ)损失和最近提出的感知加权滤波器损失。特别地,应用CL提供了更好的语音分量质量、更好的整体增强的语音感知质量以及听起来更自然的残余噪声。平均而言,对于所见的噪声类型,在增强语音上获得至少0.1点更高的PESQ分数,同时还获得超过0.5dB的更高SNR改善。这种改进对于看不见的噪声类型更强,其中获得了增强语音的约0.2点高的PESQ分数,同时输出SNR也领先超过0.5 dB。新提出的CL易于实现,代码可在https://github.com/ifnspaml/Components-Loss上提供。
2019-08-14 cs.SD eess.AS
Ranking the Impact of Contextual Specialization in Neural Speech Enhancement
该研究探究不同规模神经语音增强系统的上下文专业化效果,发现面向说话人身份的专业化增益最高,小尺寸专用模型性能可媲美大10倍的通用模型,适用于资源受限场景。
2026-07-07 cs.SD eess.AS
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs(Facebook现实实验室)
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下,所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中,我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估(3QUEST)的语音平均意见分数(SMOS)和噪声MOS(NMOS)的近场和远场应用的指标。此外,所提出的语音增强方法大大提高了信噪比(SNR)和主观听觉体验。相比之下,传统的语音增强方法虽然增加了NMOS和SNR,但降低了SMOS。此外,所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Speech enhancement using ego-noise references with a microphone array embedded in an unmanned aerial vehicle
KU Leuven(鲁汶大学);Siemens Digital Industries Software(西门子数字工业软件)
提出在嵌入式无人机麦克风阵列中利用螺旋桨附近麦克风采集的自噪声参考信号,通过PK-MWF估计语音相关矩阵,实验表明其在STOI和PESQ上优于标准MWF且SNR改善相当。
2023-08-16 cs.SD eess.AS
Towards Environmental Preference Based Speech Enhancement For Individualised Multi-Modal Hearing Aids
Edinburgh Napier University(爱丁堡纳皮尔大学);Academia Sinica(中央研究院)
本文提出基于偏好学习的语音增强模型,通过多任务深度学习联合估计信噪比和声学场景,并结合用户偏好线性学习目标SNR,实现面向多模态助听器的上下文个性化语音增强。
2024-02-26 cs.SD eess.AS
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven(鲁汶大学)
由于双耳线索的可用性差,许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的,因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下,它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中,与标准全向麦克风相比,性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中,语音从正面方向呈现。当噪声来自人工耳蜗侧时,语音接收阈值提高了15.7 dB SNR,当噪声来自助听器侧时,语音接收阈值提高了7.6 dB SNR,当噪声来自各个方向时,语音接收阈值不受影响。除了双模态听众,该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字:头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS:43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k,43.71.Es,43.71.Ky
2018-03-14 cs.SD eess.AS
Environment-aware Reconfigurable Noise Suppression
Facebook AR/VR Division(Facebook增强现实/虚拟现实部门)
本文提出了一种有效的,鲁棒的,可重构的技术,以抑制各种类型的噪声,任何采样率。理论分析、主观和客观测试结果表明,本文提出的噪声抑制(NS)方案显著提高了语音传输指数(STI)、语音清晰度(SI)、信噪比(SNR)和主观听觉体验。STI和SI由5个级别组成,即,坏的、差的、一般的、好的和优秀的。最常见的噪声条件是SNR范围为-5至8 dB。对于-5到2.5dB的输入SNR,所提出的NS将STI和SI从“公平”改善到“良好”。对于2.5 ~ 8dB的输入信噪比,该方法可使STI和SI从“良好”提高到“优秀”。建议的NS可以通过在互联网协议语音,语音触发,和自动语音识别应用程序的捕获和回放路径。
2020-01-29 cs.SD eess.AS eess.SP
Speech Enhancement with Intelligent Neural Homomorphic Synthesis
Tencent Ethereal Audio Lab(腾讯天籁音频实验室)
大多数神经网络语音增强模型通过直接映射傅立叶变换频谱或波形而忽略语音产生数学模型。在这项工作中,我们提出了一个神经源滤波器网络的语音增强。具体地说,我们使用同态信号处理和倒谱分析来获得含噪语音的激励和声道。与传统的信号处理不同,我们使用一个专注递归网络(ARN)模型预测的比率掩模来代替提升分离函数。然后,使用两个卷积注意递归网络(CARN)网络分别预测干净语音的激励和声道。系统的输出是从估计的激励和人声合成的。实验证明,我们提出的方法性能更好,与FullSubNet相比,SI-SNR提高了1.363dB。
2022-10-28 cs.SD eess.AS
UNetGAN: A Robust Speech Enhancement Approach in Time Domain for Extremely Low Signal-to-noise Ratio Condition
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology(内蒙古蒙古文信息处理技术重点实验室)
极低信噪比下的语音增强是一个非常具有挑战性的问题,在以前的工作中很少研究。针对这一问题,提出了一种基于U-Net和生成对抗学习的鲁棒语音增强方法(UNetGAN)。该方法由一个发电机网络和一个直接在时域工作的同步网络组成。该生成器网络采用类U-Net结构,并在其瓶颈处采用扩张卷积,在公共基准测试中,对低信噪比(-20dB)下的UNetGAN性能进行了评估。结果表明,它显着提高了语音质量,并大大优于代表性的深度学习模型,包括SEGAN,cGAN for SE,双向LSTM使用相位敏感谱近似代价函数(PSA-BLSTM)和Wave-U-Net关于短时客观可懂度(STOI)和语音质量的感知评估(PESQ)。
2020-10-29 cs.SD eess.AS eess.SP
Unsupervised Low Latency Speech Enhancement with RT-GCC-NMF
University of Sherbrooke(舍布鲁克大学);Graz University of Technology(格拉茨工业大学)
在本文中,我们提出了RT-GCC-NMF:一个实时(RT),双通道盲语音增强算法,结合了非负矩阵分解(NMF)的字典学习算法与广义互相关(GCC)的空间定位方法。使用预先学习的通用NMF字典,RT-GCC-NMF以逐帧的方式通过基于其估计的到达时间延迟(TDOA)将各个字典原子与目标语音或背景干扰相关联来操作。我们评估RT-GCC-NMF对来自信号分离和评估活动(SiSEC)的语音和真实世界噪声的双通道混合物。我们证明了这种方法可以从很少的训练数据中推广到新的扬声器,声学环境和录音设置,并且在音频源分离(PEASS)分数的整体感知评估方法方面优于SiSEC挑战中的所有算法,并且与理想的二进制掩码基线相比。在很宽的输入信噪比范围内,我们表明,这种方法同时提高了PEASS和信噪比(SNR)为基础的盲源分离(BSS)评价客观质量指标,以及短期客观可懂度(STOI)和扩展的STOI(ESTOI)客观语音可懂度指标。NMF激活系数空间中的灵活的软掩蔽函数提供了对干扰抑制和目标扬声器保真度之间的权衡的实时控制。最后,我们使用非对称短时傅里叶变换(STFT)将RT-GCC-NMF的固有算法延迟从64 ms减少到2 ms,而不会损失性能。我们证明,在目前的硬件平台上,助听器的可容忍范围内的延迟是可能的。
2019-04-05 cs.SD eess.AS
Injecting Spatial Information for Monaural Speech Enhancement via Knowledge Distillation
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
单耳语音增强(SE)通过利用来自单个麦克风的录音来提供用于SE任务的通用且成本有效的方法。然而,单声道SE的性能落后于多声道SE,因为单声道SE方法无法从单声道录音中提取空间信息,这极大地限制了其应用场景。为了解决这个问题,我们注入空间信息到单声道SE模型,并提出了一个知识蒸馏策略,使单声道SE模型学习双耳语音特征从双耳SE模型,这使得单声道SE模型可以重建更高的可懂度和质量增强的语音在低信噪比(SNR)条件下。大量的实验表明,我们提出的单耳SE模型通过注入空间信息,通过知识蒸馏实现了良好的性能对其他单耳SE模型与较少的参数。
2022-12-02 cs.SD eess.AS
DESNet: A Multi-channel Network for Simultaneous Speech Dereverberation, Enhancement and Separation
Northwestern Polytechnical University(西北工业大学);Microsoft(微软)
在本文中,我们提出了一个多通道网络的同时语音去混响,增强和分离(DESNet)。为了实现梯度传播和联合优化,我们采用了多通道特征的注意力选择机制,该机制最初是在端到端解混、固定波束成形和提取(E2 E-UFE)结构中提出的。此外,新的深度复杂卷积递归网络(DCCRN)被用作语音解混的结构和基于神经网络的加权预测误差(WPE)的语音去混响预先级联。为了进一步提高网络的性能,我们还引入了分阶段的信噪比策略和交响损失的训练。实验结果表明,在非去混响情况下,DESNet的语音增强和分离性能优于DCCRN和大多数最先进的结构,而在去混响情况下,DESNet也优于级联的WPE-DCCRN网络。
2020-11-14 cs.SD eess.AS
Speech Enhancement via Two-Stage Dual Tree Complex Wavelet Packet Transform with a Speech Presence Probability Estimator
本文提出了一种基于双树复小波包变换(DTCWPT)的两级语音增强算法,其中提出了一种语音存在概率(SPP)估计器和一种广义最小均方误差(MMSE)估计器。为了克服WPT下采样引起的信号失真的缺点,一个两级解析分解级联未抽取WPT(UWPT)和抽取WPT。基于语音的广义Gamma分布和高斯噪声假设,推导了DTCWPT域中的SPP估计器。实验结果表明,与最佳修正LSA(OM-LSA)、基于后验SNR不确定性的软掩蔽(SMPO)、基于后验SPP的MMSE估计算法等4种语音增强算法相比,该算法在低信噪比非平稳噪声环境下,能够获得增强的语音质量感知评价(PESQ)和分段信噪比(SegSNR)(MMSE-SPP)和自适应贝叶斯小波阈值(BWT)。
2016-10-04 cs.SD
Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification
Indiana University(印第安纳大学)
训练个性化的语音增强模型本质上是一个无镜头学习问题,由于隐私的限制和有限的访问从目标用户的无噪声语音。如果测试时用户有大量未标记的嘈杂语音,则可以使用自监督学习来训练个性化的语音增强模型。模型个性化的一种直接方法是使用目标说话者的嘈杂录音作为伪源。然后,伪去噪模型学习去除注入的训练噪声并恢复伪源。然而,这种方法是不稳定的,因为它取决于伪源的质量,这可能是太嘈杂。作为补救措施,我们提出了一个改进的自我监督的方法,通过数据净化。我们首先训练一个SNR预测器模型来估计伪源的逐帧SNR。然后,预测器的估计被转换成权重,该权重调整伪源对训练个性化模型的逐帧贡献。我们的经验表明,建议的数据净化步骤提高了可用性的扬声器特定的噪声数据的背景下,个性化的语音增强。在不依赖任何干净的语音记录或说话者嵌入的情况下,我们的方法可以被视为隐私保护。
2021-04-05 cs.LG cs.SD eess.AS
Model-Based Speech Enhancement in the Modulation Domain
University of Cambridge(剑桥大学);Imperial College(帝国理工学院)
提出了一种基于卡尔曼滤波器的调制域语音增强算法。建议的估计器联合建模的语音和噪声的频谱幅度的估计动态,以获得一个MMSE估计的语音幅度谱的假设,语音和噪声是加性的在复域中。为了包括噪声幅度的动态与语音幅度,我们提出了一个统计的“高斯林”模型,该模型包括高斯的混合物,其中心位于一个圆上的复平面。该算法的性能进行了评估,使用语音质量的感知评价措施,分段信噪比的措施,和短期的客观可懂度措施。对于语音质量的措施,所提出的算法被证明是一个一致的改善在很大范围内的信噪比相比,竞争力的算法。语音识别实验也表明,基于高斯林模型的算法表现良好的两种类型的噪声。
2018-01-31 cs.SD
A scalable noisy speech dataset and online subjective test framework
Microsoft Corp.(微软公司)
背景噪声是互联网协议语音(VoIP)和公共交换电话网(PSTN)呼叫中质量损害的主要来源。最近的工作显示了深度学习对噪声抑制的功效,但与其他领域(例如,ImageNet)和相关的评估更加集中。为了更好地促进语音增强中的深度学习研究,我们提出了一个带噪语音数据集(MS-SNSD),该数据集可以根据扬声器的数量、噪声类型和所需的语音噪声比(SNR)水平扩展到任意大小。我们表明,增加数据集的大小增加了噪声抑制性能的预期。此外,我们提供了一个开源的评估方法,使用众包对结果进行主观评估,并使用参考算法对结果进行标准化。为了证明数据集和评估框架,我们将其应用于几个噪声抑制器,并将主观平均意见得分(MOS)与客观质量指标(如SNR,PESQ,POLQA和VISQOL)进行比较,并说明为什么仍然需要MOS。我们的主观MOS评估是我们所知道的第一次对语音增强算法进行大规模评估。
2019-09-17 cs.LG cs.SD eess.AS
Enhancement of Noisy Speech exploiting a Gaussian Modeling based Threshold and a PDF Dependent Thresholding Function
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种语音增强方法,该方法通过对含噪语音的Teager能量(TE)感知小波包(PWP)系数进行高斯建模,统计确定自适应阈值。为了获得增强的语音,由此导出的阈值通过采用高斯pdf相关的自定义阈值函数来应用于PWP系数,该自定义阈值函数是基于修改的硬阈值函数和半软阈值函数的组合来设计的。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法被发现优于一些国家的最先进的语音增强方法,不仅在高,而且在低水平的SNR的意义上的标准的客观措施和主观评价,包括正式的听力测试。
2018-03-03 cs.SD eess.AS
A two-stage full-band speech enhancement model with effective spectral compression mapping
Nanjing University(南京大学);Horizon Robotics(地平线机器人);Nanjing Institute of Advanced Artificial Intelligence(南京前沿人工智能研究院)
基于深度神经网络(DNN)的宽带语音增强(SE)直接扩展到全带处理面临着低频范围内低频率分辨率的挑战,这很可能导致模型性能恶化。在本文中,我们提出了一个可学习的频谱压缩映射(SCM),以有效地压缩高频分量,使它们可以以更有效的方式进行处理。通过这样做,模型可以更多地关注语音功率集中的中低频范围。我们不是在单个网络结构中抑制噪声,而是首先估计频谱幅度掩码,将语音转换为高信噪比(SNR)状态,然后利用后续模型进一步优化预增强信号的实部和虚部掩码。我们进行了全面的实验,以验证所提出的方法的有效性。
2022-06-27 cs.SD eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete(克里特大学);Chania General Hospital(干尼亚综合医院)
在这项工作中,我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩(SSDRC)的基础上,被称为基于WaveNet的SSDRC(wSSDRC),使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发,并提供了应用神经语音增强模型,并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中,我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下,相等的能量前后修改。听力正常(NH)和听力受损(HI)的听众在语音成形噪声(SSN)下以与他们的语音接收阈值(SRT)匹配的特定于听众的SNR评估模型,在该点处,50%的未修改语音是可理解的。分析统计数据表明,wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI,相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
Generative Speech Enhancement Based on Cloned Networks
我们提出了实现语音增强的再生干净的语音从一个显着的表示提取的噪声信号。使用提取器网络的一组权重共享克隆来训练提取显著特征的网络。克隆接收相同语音信号的不同噪声版本的梅尔频谱作为输入。通过鼓励克隆的输出对于这些不同的输入信号是相似的,我们训练一个对噪声鲁棒的特征提取器网络。在推理时,显著特征形成WaveNet网络的输入,WaveNet网络生成具有与地面真实干净信号相同属性的自然干净语音信号。随着信号变得越来越嘈杂,我们的系统会产生自然的声音错误,这些错误会留在语音流形上,而不是在其他系统中发现的传统人工制品。我们的实验证实,我们的生成增强系统提供了国家的最先进的增强性能的生成类增强器根据MUSHRA样测试。基于克隆的系统匹配或优于其他系统在每个输入信噪比(SNR)范围内具有统计学意义。
2019-09-10 cs.SD eess.AS
A Novel Reconfigurable Hardware Design for Speech Enhancement Based on Multi-Band Spectral Subtraction Involving Magnitude and Phase Components
University of Calcutta(加尔各答大学)
本文提出了一种基于多带谱减法的语音增强的可重构硬件设计方法。我们提出的设计是新颖的,因为它估计环境噪声的语音自适应利用幅度和相位分量的语音频谱。我们通过将噪声语音频谱划分为具有不同信噪比(SNR)的不同非均匀频带并从这些频带中的每一个中减去估计噪声来执行多频带频谱减法。这导致消除了所有频带的高SNR和低SNR信号分量的噪声。我们已经创造了我们提出的语音增强技术作为多带幅度相位谱减法(MBMPSS)。利用现场可编程门阵列(FPGA)的并行逻辑块,实现幅度和相位运算的并行执行,从而在很大程度上提高了系统的吞吐量。我们已经实现了我们的设计在Spartan6 Lx45 FPGA上,并提出了我们的设计的不同块的资源利用率和延迟信息方面的实施结果。据我们所知,这是一种新型的语音增强应用的硬件设计,也是第一次在可重构硬件上实现。我们已经使用基准音频数据的评估所提出的硬件和实验结果表明,我们的硬件表现出更好的SNR值相比,现有的最先进的研究工作。
2015-08-25 cs.AR cs.SD
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London(帝国理工学院)
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法,对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法,执行盲联合去噪和去混响,同时考虑帧间语音动态,通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比(DRR)的混响参数的信号模型,并且还估计和跟踪每个频率仓中的$T_{60}$和DRR,以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量,语音清晰度和混响性能的混响参数和信噪比的范围内,在不同的噪声类型,也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
DroFiT: A Lightweight Band-fused Frequency Attention Toward Real-time UAV Speech Enhancement
Sungkyunkwan University(成均馆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Apple(苹果公司)
DroFiT通过轻量级带宽融合频率注意力机制,在降低计算和内存需求的同时实现高效的无人机语音增强。
2026-03-07 cs.SD eess.AS
Few-step Adversarial Schrödinger Bridge for Generative Speech Enhancement
Seoul National University(首尔国立大学);Supertone Inc.(Supertone公司)
针对扩散类语音增强模型采样步数过多、低SNR下性能下降的问题,提出将薛定谔桥与GANs结合,实现少步甚至单步推理,并在去噪和去混响任务上优于现有基线。
2025-06-02 cs.SD eess.AS
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab(腾讯AI实验室)
本文旨在消除干扰说话人的语音,加性噪声,混响从嘈杂的多说话人的语音混合,有利于自动语音识别(ASR)后端。虽然最近提出的加权功率最小化无失真响应(WPD)波束形成器可以同时执行分离和去混响,但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”,通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失,包括复谱域尺度不变信噪比(C-Si-SNR)和幅度域均方误差(Mag-MSE),对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明,WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
A fully recurrent feature extraction for single channel speech enhancement
University of Crete(克里特大学);Sonova AG(索诺瓦公司)
卷积神经网络(CNN)模块被广泛用于构建高端语音增强神经模型。然而,普通CNN模块的特征提取能力受到被集成的卷积核的维度约束的限制-因此,它们在特征提取阶段对噪声上下文信息进行充分建模方面存在局限性。为此,在特征提取层CNN中加入递归因子,提出了一种鲁棒的上下文感知的单通道语音增强特征提取策略。如图所示,添加递归导致在所提取的特征级别捕获噪声属性的局部统计,因此,所建议的模型即使在非常嘈杂的条件下也能有效地区分语音线索。当使用香草CNN模块对增强模型进行评估时,在看不见的噪声条件下,在特征提取层中具有递归性的建议模型产生了高达1.5 dB的分段SNR(SSNR)增益,在平均意见得分量表中主观质量提高了0.4,而要优化的参数减少了25%。
2021-06-03 cs.SD eess.AS
Two-Step Knowledge Distillation for Tiny Speech Enhancement
Bose Corporation(博士公司)
本文提出一种面向微型语音增强的两步知识蒸馏方法,先仅用KD目标预训练学生模型再切换至全监督训练,并引入细粒度相似性保持KD损失,在高压缩和低信噪比条件下显著提升了信噪失真比。
2023-09-15 cs.LG cs.SD eess.AS
RTF-steered binaural MVDR beamforming incorporating multiple external microphones
University of Oldenburg(奥尔登堡大学)
双耳最小方差无失真响应(BMVDR)波束形成器是一种众所周知的降噪算法,可以使用所需语音源的相对传递函数(RTF)向量来控制。利用与头戴式麦克风空间分离的外部麦克风的可用性,最近已经提出了一种有效的方法来估计扩散噪声场中的RTF向量。当多个外部麦克风可用时,可以通过针对每个外部麦克风使用该方法来获得不同的RTF向量估计。在本文中,我们提出了几个程序来结合这些RTF矢量估计,无论是通过选择对应于最高输入SNR的估计,通过平均的估计或通过结合的估计,以最大限度地提高输出SNR的BMVDR波束形成器。在混响环境中的移动扬声器和扩散噪声的实验结果表明,输出SNR最大化组合产生最大的双耳SNR改善,也优于最先进的协方差白化方法。
2019-08-13 cs.SD eess.AS
Improved Normalizing Flow-Based Speech Enhancement using an All-pole Gammatone Filterbank for Conditional Input Representation
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
近年来,用于语音增强(SE)的深度生成模型受到越来越多的关注。最突出的例子是生成对抗网络(GANs),而规范化流(NF)尽管有潜力,但受到的关注较少。在以前的工作的基础上,提出了架构修改,以及不同的条件输入表示的调查。尽管在相关的工作中是一个常见的选择,梅尔频谱证明是不够的给定的情况下。另外,提出了一种新的具有高时间分辨率的全极点伽玛通滤波器组(APG)。虽然计算评估指标结果表明,最先进的基于GAN的方法性能最好,但通过收听测试进行的感知评估表明,所提出的NF方法(基于时域和APG)性能最好,特别是在较低的SNR下。平均而言,APG输出被评为具有良好的质量,这是其他方法(包括GAN)无法比拟的。
2022-10-21 cs.SD eess.AS
Modeling of Teager Energy Operated Perceptual Wavelet Packet Coefficients with an Erlang-2 PDF for Real Time Enhancement of Noisy Speech
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
为了实现带噪语音的实时增强,提出了一种基于Erlang-2 PDF对带噪语音和噪声的Teager能量(TE)感知小波包(PWP)系数建模的阈值确定方法。所提出的方法是计算速度远远快于现有的基于小波包的阈值方法。一个自定义的阈值功能的基础上的组合的μ-法律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。所提出的自定义阈值函数基于PWP变换的带噪语音的子带中语音存在和不存在的概率作为μ律或半软阈值函数或它们的组合工作。利用NOIZEUS数据库中的语音文件,对高斯白噪声和街道噪声环境下的语音信号进行了仿真,并对所提方法的性能进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的SNR在标准的客观措施和主观评价,包括正式的听力测试。
2018-02-09 cs.SD eess.AS
Neural Directed Speech Enhancement with Dual Microphone Array in High Noise Scenario
Shanghai Jiao Tong University(上海交通大学);AISpeech Ltd(思必驰科技有限公司)
针对极低信噪比下有限麦克风阵列的语音增强难题,提出三导向空间选择方法和因果导向U-Net模型,仅用双麦克风阵列即可实时实现高质量定向语音增强。
2024-12-30 cs.SD eess.AS
Speech Enhancement Based on Non-stationary Noise-driven Geometric Spectral Subtraction and Phase Spectrum Compensation
Texas A M University(德州农工大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种基于短时幅度谱和相位谱噪声补偿的语音增强方法。与传统的谱减法(SS)的几何方法(GA)不同,本文提出了利用当前噪声帧的低频区域来确定从噪声语音谱中减去的噪声估计,而不是仅依赖于初始静默帧。这种方法给出了跟踪非平稳噪声的能力,从而导致用于语音增强的谱减法的非平稳噪声驱动的几何方法。然后,将来自GA步骤的噪声补偿幅度谱与带噪语音谱的未改变的相位重新组合,并用于相位补偿以获得增强的复谱,该增强的复谱用于产生增强的语音帧。大量的模拟进行了使用语音文件中的NOIZEUS数据库表明,所提出的方法始终优于一些最近的语音增强的方法时,在不同水平的SNR的街道或串音噪声损坏的嘈杂的语音在客观措施,频谱分析和正式的主观听力测试。
2018-03-03 cs.SD eess.AS
Single-channel speech enhancement by using psychoacoustical model inspired fusion framework
Department of Electronics and Telecommunication Engineering(电子与电信工程系);Indian Institute of Engineering Science(印度工程科学研究院)
本文提出融合声学和调制域方法的框架,以提升单通道语音增强的感知质量和可懂度。
2025-12-17 cs.SD eess.AS