From KAN to GR-KAN: Advancing Speech Enhancement with KAN-Based Methodology
Nanyang Technological University(南洋理工大学);University of Palermo(巴勒莫大学)
针对传统语音增强模型激活函数表达能力不足的问题,将GR-KAN适配到时域和时频域主流SE模型,在Voicebank-DEMAND上实现参数减少最多4倍、PESQ最高提升0.1,首次验证KAN类方法在两类SE任务中的一致提升效果。
2025-05-21 cs.AI cs.LG eess.AS
Ring Mixing with Auxiliary Signal-to-Consistency-Error Ratio Loss for Unsupervised Denoising in Speech Separation
Human Language Technology Center of Excellence Johns Hopkins University(约翰霍普金斯大学人类语言技术卓越中心);Language Technologies Institute Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文提出环混合策略和SCER损失,通过打破对称性提升语音分离的去噪能力,在WHAM!基准上实现残余噪声降低超过一半。
2026-09-16 eess.AS
SADDEL: Joint Speech Separation and Denoising Model based on Multitask Learning
National Taiwan University(国立台湾大学);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
在真实世界场景中收集的语音数据通常会遇到两个问题。首先,多个源可能同时存在,并且源的数量可能随时间而变化。其次,录音中背景噪声的存在是不可避免的。为了处理第一个问题,我们参考语音分离方法,该方法将语音从未知数量的说话者中分离出来。为了解决第二个问题,我们参考了语音去噪方法,该方法去除噪声分量并检索纯语音信号。已经提出了许多基于深度学习的语音分离和去噪方法,这些方法显示出有希望的结果。然而,很少有作品试图同时解决这些问题,尽管语音分离和去噪任务具有相似的性质。在这项研究中,我们提出了一个联合语音分离和去噪框架的基础上的多任务学习标准,同时解决这两个问题。实验结果表明,该框架不仅在语音分离和去噪任务上表现良好,而且在大多数情况下优于相关方法。
2020-05-20 cs.SD eess.AS
A Neural Denoising Vocoder for Clean Waveform Generation from Noisy Mel-Spectrogram based on Amplitude and Phase Predictions
本文提出一种神经降噪声码器,通过频谱预测器和增强模块从含噪梅尔频谱中恢复干净幅度与相位谱,并经iSTFT重建波形,在VoiceBank+DEMAND上取得最先进性能。
2024-11-19 eess.AS eess.SP
Adaptive Depth and Expert Refinement for Efficient Speech Enhancement
Shanghai Institute of Artificial Intelligence for Education, East China Normal University(华东师范大学上海人工智能教育研究院);Guangdong Key Laboratory of Intelligent Information Processing, Shenzhen University(深圳大学广东省智能信息处理重点实验室);Boin Hearing Technology (Shanghai) Co., LTD(博音听力科技(上海)有限公司);School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对固定深度神经语音增强系统计算冗余的问题,提出ADER框架,通过自适应深度控制器和条件专家路由器实现输入依赖的细化,在VCTK-DEMAND上以更少参数和计算达到高语音质量。
2026-09-22 eess.AS
Improving Deep Speech Denoising by Noisy2Noisy Signal Mapping
现有的基于深度学习的语音去噪方法需要干净的语音信号可用于训练。本文提出了一种基于深度学习的方法,通过不需要以自我监督的方式提供干净的语音信号来改善真实世界音频环境中的语音去噪。通过使用相同语音信号的两个噪声实现来训练全卷积神经网络,一个用作网络的输入,另一个用作网络的输出。进行了大量的实验,以显示所开发的深度语音去噪方法的优越性,传统的监督深度语音去噪方法的基础上,四个常用的性能指标,并根据实际的现场测试结果。
2020-02-21 cs.SD eess.AS eess.SP
A Fused Deep Denoising Sound Coding Strategy for Bilateral Cochlear Implants
针对双侧人工耳蜗的噪声语音理解问题,提出通过潜在融合层连接两侧单耳端到端深度降噪编码模型的策略,提升了降噪、耳间相干性和语音可懂度。
2023-10-02 eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University(东南大学);Centre de Recherche en Information Biomédicale Sino-français (CRIBs)(中法生物医学信息研究中心);The 28th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第二十八研究所);Univ Rennes(雷恩大学)
在传统的语音去噪任务中,通常使用干净的音频信号作为训练目标,但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点,我们提出了一个端到端的自监督语音去噪训练方案,只使用嘈杂的音频信号,名为Only-Noisy Training(ONT),没有额外的训练条件。该策略仅从单个噪声音频中构造训练对,包含两个模块:训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对,然后送入一个新的复值语音去噪模块。实验结果表明,该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性,而且与其他训练策略相比,其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University(台湾大学);Institute of Linguistics, Academia Sinica(中央研究院语言学研究所)
言语感知是言语交际的关键。对于听力损失的人来说,识别语音的能力受到限制,特别是在嘈杂的环境中或没有视觉线索的情况下,例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法:语音增强(SE)和视听整合来了解人工耳蜗(CI)模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络(FCN),它使用一个面向可懂度的目标函数,并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外,据报道,视听整合提供更好的语音理解相比,只有音频信息。本研究以一组听力正常的受试者为实验对象,利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外,它积极建议这两种方法可以成为CI处理器中的混合功能,以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
Active Speech Enhancement: Active Speech Denoising Decliping and Deveraberation
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(贝内尔·加隆大学奈杰夫分校);Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
提出主动语音增强(ASE)范式,采用Transformer-Mamba架构和联合损失函数,在去噪、去混响和去削波任务中优于现有基线,通过主动调制语音信号提升可懂度和感知质量。
2025-05-23 cs.AI eess.AS
On Psychoacoustically Weighted Cost Functions Towards Resource-Efficient Deep Neural Networks for Speech Denoising
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
我们提出了一个心理声学增强的成本函数,以平衡网络的复杂性和感知性能的深度神经网络的语音去噪。在训练网络时,我们利用感知权重添加到普通的均方误差中,以强调最可听的频率箱的贡献,而忽略不可听的箱的误差。为了生成权重,我们采用心理声学模型从干净的语音频谱计算全局掩蔽阈值。然后,我们评估我们的感知引导神经网络的语音去噪性能,通过使用客观和感知的声音质量指标,测试各种网络结构,从浅和窄的深和宽的。实验结果表明,我们的方法是一种有效的方法,为深度神经网络操作注入感知意义。特别是,通过简单的神经网络拓扑结构看到的性能的更感知的增强证明了所提出的方法可以在小型设备中实现资源高效的语音去噪,而不会降低感知的信号保真度。
2018-01-29 cs.SD eess.AS
On the Application of Diffusion Models for Simultaneous Denoising and Dereverberation
针对扩散模型在实际场景中同时去噪和去混响能力研究不足的问题,通过对比级联模型与单一模型的效果,发现按主导失真顺序级联模型或在三类失真数据上训练单一模型可实现更优增强。
2025-08-26 eess.AS
DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech with Denoising Diffusion GANs
Tencent AI Lab(腾讯AI实验室)
去噪扩散概率模型(DDPM)是一种表达能力很强的生成模型,已被用于解决各种语音合成问题。然而,由于它们的高采样成本,DDPM难以用于实时语音处理应用。在本文中,我们介绍了DiffGAN-TTS,一种新的基于DDPM的文本转语音(TTS)模型,实现高保真和高效的语音合成。DiffGAN-TTS基于去噪扩散生成对抗网络(GANs),其采用对抗训练的表达模型来近似去噪分布。我们用多说话人TTS实验表明,DiffGAN-TTS可以在4个去噪步骤内生成高保真语音样本。我们提出了一个积极的浅扩散机制,以进一步加快推理。一个两阶段的训练计划,提出了一个基本的TTS声学模型在第一阶段训练提供有价值的先验信息的DDPM在第二阶段训练。我们的实验表明,DiffGAN-TTS可以实现高的合成性能,只有1个去噪步骤。
2022-01-28 cs.CL cs.SD eess.AS
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London(帝国理工学院)
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法,对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法,执行盲联合去噪和去混响,同时考虑帧间语音动态,通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比(DRR)的混响参数的信号模型,并且还估计和跟踪每个频率仓中的$T_{60}$和DRR,以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量,语音清晰度和混响性能的混响参数和信噪比的范围内,在不同的噪声类型,也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
MIMO Speech Compression and Enhancement Based on Convolutional Denoising Autoencoder
对于物联网环境中与语音相关的应用,确定有效的方法来处理干扰噪声和压缩传输中的数据量对于实现高质量的服务至关重要。在这项研究中,我们提出了一种新的多输入多输出语音压缩和增强(MIMO-SCE)系统的卷积去噪自动编码器(CDAE)模型的基础上,同时提高语音质量和减少传输数据的维数。与传统的单通道和多输入单输出系统相比,MIMO系统可以用于处理需要处理的多个声学信号的应用中。我们研究了两种CDAE模型,全卷积网络(FCN)和Sinc FCN,作为MIMO系统中的核心模型。实验结果证实,所提出的MIMO-SCE框架有效地提高了语音质量和可懂度,同时减少了7倍的记录数据量进行传输。
2021-06-07 eess.AS eess.SP
Speech Denoising with Deep Feature Losses
Stanford University(斯坦福大学);Intel Labs(英特尔研究院)
我们提出了一种端到端的深度学习方法,通过直接处理原始波形来对语音信号进行去噪。给定包含被加性背景信号破坏的语音的输入音频,该系统旨在产生仅包含语音内容的经处理的信号。最近的方法使用各种深度网络架构显示出有希望的结果。在本文中,我们提出使用深度特征丢失来训练全卷积上下文聚合网络。这种损失是基于比较不同网络中的内部特征激活,这些网络被训练用于声学环境检测和国内音频标记。我们的方法优于国家的最先进的客观语音质量指标,并在大规模的感知实验与人类听众。它也优于使用传统回归损失训练的相同网络。新方法的优势对于具有最侵入性背景噪声的最硬数据尤其明显,对于这些数据,去噪是最需要和最具挑战性的。
2018-09-14 cs.SD eess.AS
Complexity Scaling for Speech Denoising
Tencent AI Lab(腾讯人工智能实验室)
本研究针对语音去噪任务提出统一的多路径变换(MPT)架构以适应不同计算复杂度,并在DNS challenge数据集上发现模型性能指标随MACs对数呈线性增长。
2023-09-14 cs.SD eess.AS
Speech Denoising Without Clean Training Data: A Noise2Noise Approach
PES University(PES大学)
本文解决了基于深度学习的音频去噪方法所需的干净语音数据的严重依赖性问题,通过展示仅使用带噪语音样本训练深度语音去噪网络是可能的。传统观点认为,为了实现良好的语音去噪性能,需要大量的噪声语音样本和完全干净的语音样本,从而需要昂贵的音频记录设备和极其受控的隔音录音室。这些要求给数据汇集带来了重大挑战,特别是在经济落后地区和资源匮乏的语言。这项工作表明,语音去噪深度神经网络可以仅利用嘈杂的训练音频成功训练。此外,它揭示了这样的训练制度实现了优越的降噪性能比传统的训练制度,利用干净的训练音频目标,在涉及复杂的噪声分布和低信噪比(高噪声环境)的情况下。通过使用20层深度复杂U-Net架构研究我们所提出的方法对真实世界噪声和合成噪声的有效性的实验证明了这一点。
2021-09-19 cs.LG cs.SD eess.AS
A Review of Multi-Objective Deep Learning Speech Denoising Methods
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文对文献中引入的用于语音去噪的多目标深度学习方法进行了回顾。在概述了传统的单目标深度学习以及传统和深度学习的混合或组合方法之后,对用于语音去噪的多目标深度学习方法的数学框架进行了回顾。从每个语音去噪类别,其代码是公开的,选择一个代表性的方法,并进行比较,考虑到相同的公共领域数据集和四个广泛使用的客观指标。比较结果表明,多目标方法与其他方法相比,特别是当信噪比较低时,是有效的。还提到了未来可能实现的改进。
2020-03-26 cs.SD eess.AS eess.SP
Masked Modeling Duo for Speech: Specializing General-Purpose Audio Representation to Speech using Denoising Distillation
NTT Corporation(日本电报电话公司)
本文提出去噪蒸馏任务与M2D-S模型,联合学习细粒度聚类特征与掩码预测,将通用音频表示M2D特化至语音领域,在SUPERB基准上达到或超越SOTA语音模型性能。
2023-08-03 cs.SD eess.AS
Listening to Sounds of Silence for Speech Denoising
Columbia University(哥伦比亚大学);SoftBank Group Corp.(软银集团)
我们引入了一个用于语音去噪的深度学习模型,这是音频分析中的一个长期挑战,在许多应用中出现。我们的方法基于对人类语言的一个关键观察:每个句子或单词之间通常有一个短暂的停顿。在记录的语音信号中,这些停顿引入了一系列时间周期,在这些时间周期期间仅存在噪声。我们利用这些偶然的无声间隔来学习仅给定单通道音频的自动语音去噪模型。随着时间的推移检测到的无声间隔不仅暴露纯噪声,而且暴露其时变特征,从而允许模型学习噪声动态并从语音信号中抑制噪声。在多个数据集上的实验证实了无声间隔检测在语音去噪中的关键作用,我们的方法优于几种最先进的去噪方法,包括那些只接受音频输入的方法(如我们的方法)和那些基于视听输入的方法(因此需要更多信息)。我们还表明,我们的方法具有出色的泛化性能,例如对训练过程中看不到的口语进行去噪。
2020-10-22 cs.LG cs.SD eess.AS
End-to-End Multi-Task Denoising for the Joint Optimization of Perceptual Speech Metrics
Samsung Semiconductor Inc.(三星半导体公司)
虽然基于深度神经网络的监督学习最近在语音增强方面取得了实质性的改进,但现有方案存在两个关键问题:频谱或度量失配。频谱失配是一个众所周知的问题,即在短时傅立叶变换(STFT)之后的任何频谱修改通常在逆短时傅立叶变换(ISTFT)之后不能完全恢复。度量失配是常规的均方误差(MSE)损失函数对于最大化感知语音测量(诸如信号失真比(SDR)、语音质量的感知评估(PESQ)和短时客观可懂度(STOI))而言通常是次优的。本文提出了一种新的端到端去噪框架。首先,对ISTFT后的时域信号进行网络优化,以避免频谱失配。其次,提出了基于SDR、PESQ和STOI的三种损失函数,以最小化度量失配。实验结果表明,该方法在SDR、PESQ和STOI等图像去噪性能上均优于现有方法。此外,所提出的方案还提供了良好的泛化性能生成去噪模型的感知语音度量,而不是作为一个损失函数在训练过程中。
2020-05-06 cs.SD eess.AS
Schrödinger Bridge for Generative Speech Enhancement
本文提出一种基于Schrödinger桥的生成式语音增强模型,通过数据到数据过程和辅助时域损失恢复纯净语音,在去噪与去混响任务中优于扩散模型并降低计算成本。
2024-07-22 eess.AS
Continuous Modeling of the Denoising Process for Speech Enhancement Based on Deep Learning
本文提出一种基于深度学习的语音增强连续建模方法,通过状态变量表示去噪过程,并引入控制因子实现可控降噪,实验证明保留少量噪声能提升语音增强效果。
2024-01-07 cs.AI cs.SD eess.AS
Diverse and Expressive Speech Prosody Prediction with Denoising Diffusion Probabilistic Model
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对现有语音韵律预测器单模态、多样性不足的问题,提出基于去噪扩散概率模型的新型韵律预测器,在参数更少的情况下实现了更优的表现力与多样性。
2023-10-07 cs.SD eess.AS
Test-Time Adaptation for Speech Enhancement via Domain Invariant Embedding Transformation
Institute of Signal Processing;System Theory University of Stuttgart
LaDen通过域不变嵌入变换实现语音增强的测试时适应,利用预训练表示进行潜在去噪,生成伪标签以提升模型在不同声学环境下的性能。
2025-09-04 eess.AS
Perceptual Loss based Speech Denoising with an ensemble of Audio Pattern Recognition and Self-Supervised Models
Johns Hopkins University(约翰斯·霍普金斯大学)
基于深度学习的语音去噪仍然面临着提高增强信号的感知质量的挑战。我们引入了一个广义的框架,称为感知包围正则化损失(PERL)的感知损失的想法。感知损失阻止了某些语音属性的失真,我们使用六个大规模的预训练模型进行分析:扬声器分类,声学模型,扬声器嵌入,情感分类和两个自监督语音编码器(PASE+,wav 2 vec 2.0)。我们首先在流行的增强基准VCTK-DEMAND上使用Conformer Transformer Networks构建一个强基线(w/o PERL)。一次使用一个辅助模型,我们发现声学事件和自监督模型PASE+是最有效的。我们的最佳模型(PERL-AE)仅使用声学事件模型(利用AudioSet),在主要感知指标上优于最先进的方法。为了探索去噪是否可以利用完整的框架,我们使用了所有的网络,但发现我们的七损失公式受到了多任务学习的挑战。最后,我们报告了一个重要的观察结果,即最先进的多任务权重学习方法无法优于手动调整,这可能是由于域不匹配和损失互补性弱的挑战。
2020-10-22 cs.SD eess.AS
DenoiSpeech: Denoising Text to Speech with Frame-Level Noise Modeling
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门)
虽然基于神经网络的文本转语音(TTS)模型可以合成自然、清晰的语音,但通常需要高质量的语音数据,采集成本很高,而且在很多场景下,只能获得目标说话人的带噪语音,这给该说话人的TTS模型训练带来了挑战。以前的工作通常使用两种方法来解决这一挑战:1)使用增强模型去噪的语音来训练TTS模型; 2)在使用带噪语音进行训练时,将单个噪声嵌入作为输入。然而,它们通常不能处理具有真实世界复杂噪声的语音,例如那些随时间变化很大的噪声。在本文中,我们开发了DenoiSpeech,一个TTS系统,可以合成干净的语音与嘈杂的语音数据的扬声器。在DenoiSpeech中,我们通过使用噪声条件模块对细粒度帧级噪声进行建模来处理真实世界的噪声语音,该噪声条件模块与TTS模型联合训练。在真实数据上的实验结果表明,DenoiSpeech的性能分别比前两种方法高出0.31和0.66 MOS。
2020-12-18 cs.SD eess.AS
Speech denoising by parametric resynthesis
The CUNY Graduate Center(纽约市立大学研究生中心);Brooklyn College(布鲁克林学院)
这项工作提出了使用干净的语音声码器参数作为目标的神经网络执行语音增强。这些参数已经被设计用于文本到语音合成,使得它们都产生高质量的再合成,并且还可以直接用神经网络建模,但是直到现在还没有被用于语音增强。与匹配的文本到语音系统相比,该系统给出了嘈杂语音的地面真实成绩单,我们的模型能够产生更自然的语音,因为它可以访问嘈杂语音中的真实韵律。在比较两个去噪系统,甲骨文维纳面具和基于DNN的面具预测器,我们的模型等于甲骨文维纳面具的主观质量和可懂度,并超越了现实的系统。一个基于声码器的上限表明,这种方法仍然有改进的空间,超越了甲骨文维纳掩码。我们用两个扬声器测试扬声器依赖性,并表明单个模型可用于多个扬声器。
2019-04-02 cs.LG cs.SD eess.AS
Multi-Channel Speech Denoising for Machine Ears
Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系);Google Research(谷歌研究院)
这项工作描述了一个语音降噪系统的机器耳朵,旨在提高语音清晰度和整体的听力体验在嘈杂的环境。我们记录了大约100个小时的音频数据与混响和适度的环境噪声使用一对麦克风阵列放置在每一个耳朵,然后混合录音,以模拟不利的声学场景。然后,我们在混合录音上训练了一个多通道语音去噪网络(MCSDN)。为了改进训练,我们采用了一种无监督的方法,复角中心高斯混合模型(cACGMM),从嘈杂的录音中获取更清晰的语音作为学习目标。在推理阶段,我们提出了MCSDN-Beamforming-MCSDN框架。主观评价的结果表明,cACGMM改善了训练数据,从而产生更好的降噪效果和用户偏好,整个系统提高了嘈杂环境下的可懂度和收听体验。
2022-02-17 cs.SD eess.AS eess.SP
A Single Speech Enhancement Model Unifying Dereverberation, Denoising, Speaker Counting, Separation, and Extraction
Waseda University(早稻田大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
提出MUSE模型,集成内部分离与目标提取模块,以单一模型统一完成去混响、降噪、分离、提取及说话人计数五项语音增强任务。
2023-10-12 cs.SD eess.AS
Speech Denoising in the Waveform Domain with Self-Attention
NVIDIA(英伟达)
在这项工作中,我们提出了CleanUNet,一个因果语音去噪模型的原始波形。该模型是基于一个编码器-解码器架构结合几个自注意块,以改善其瓶颈表示,这是至关重要的,以获得良好的效果。该模型通过一组定义在波形和多分辨率频谱图的损失进行优化。所提出的方法优于国家的最先进的模型,从各种客观和主观评价指标的去噪语音质量。我们在https://github.com/nvidia/cleanunet上发布我们的代码和模型。
2022-07-07 cs.LG cs.SD eess.AS
Phase-aware Single-stage Speech Denoising and Dereverberation with U-Net
Seoul National University(首尔大学);Supertone Inc.(Supertone公司)
在这项工作中,我们解决了一个去噪和去混响的问题与单级框架。尽管去噪和去混响可能被认为是两个独立的挑战性任务,因此每个任务通常需要两个模块,但我们证明了可以共享一个深度网络来解决这两个问题。为此,我们提出了一种新的掩蔽方法,称为相位感知β-S形掩模(PHM),它重用估计的幅度值来估计干净的相位,通过尊重三个信号分量之间的三角不等式,如混合,源和其余的复域。两个PHM用于处理直接和混响源,这允许在推理时控制增强语音中混响的比例。此外,为了提高语音增强的性能,我们提出了一个新的时域损失函数,并显示了一个合理的性能增益相比,在复杂的域中的MSE损失。最后,为了实现实时推理,提出了一种U-Net的优化策略,与朴素版本相比,该策略显着减少了计算开销,最高可达88.9%。
2020-06-01 cs.SD eess.AS
Multi-Domain Processing via Hybrid Denoising Networks for Speech Enhancement
Clova AI Research, NAVER Corp.(NAVER Corp. Clova AI Research);Department of Mathematical Science, Seoul National University(首尔国立大学数学科学系)
我们提出了一个混合框架,利用音频表示的时间和频率精度之间的权衡,以提高性能的语音增强任务。我们首先表明,传统的方法使用特定的表示,如原始音频和频谱图是有效的针对不同类型的噪声。通过整合这两种方法,我们的模型可以学习多尺度和多域特征,以互补的方式有效地去除存在于时频空间上不同区域的噪声。实验结果表明,所提出的混合模型比单独使用每个模型产生更好的性能和鲁棒性。
2018-12-21 cs.SD eess.AS
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic(奥迪克公司);Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Sonova AG(索诺瓦公司);Hörzentrum Oldenburg GmbH(奥尔登堡听力中心有限公司)
针对现有助听器在真实噪声环境中效果不佳的问题,研究团队开发了可在手机上实时运行的深度学习降噪系统,音频流式传输至助听器总延迟约75ms,经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
RaD-Net 2: A causal two-stage repairing and denoising speech enhancement network with knowledge distillation and complex axial self-attention
Northwestern Polytechnical University(西北工业大学);ByteDance(字节跳动)
针对实时语音增强中未来信息利用不足和卷积感受野受限的问题,提出 RaD-Net 2,通过因果知识蒸馏和复数轴向自注意力提升两阶段修复去噪性能。
2024-06-11 cs.SD eess.AS
CleanUNet 2: A Hybrid Speech Denoising Model on Waveform and Spectrogram
UCSD(加州大学圣地亚哥分校);NVIDIA(英伟达)
CleanUNet 2提出一种结合波形与频谱图去噪器的两阶段混合语音去噪模型,通过将频谱图去噪器的预测作为CleanUNet的输入提升性能,在客观与主观评估上均超越以往方法。
2023-09-12 cs.LG cs.SD eess.AS
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart(斯图加特大学)
自动语音识别(ASR)系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此,语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中,生成对抗网络(GAN)为基础的框架进行了研究的语音增强的任务,更具体地说,语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后,所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
Feature Learning and Ensemble Pre-Tasks Based Self-Supervised Speech Denoising and Dereverberation
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
自监督学习(SSL)在单声道语音增强中取得了巨大的成功,但在现有的预处理任务下,目标语音估计的准确性,特别是对未看见的说话人的准确性仍然不足。由于语音信号包含说话人身份、语言特征和说话内容等多方面信息,因此语音增强的潜在表征成为一项艰巨的任务。在本文中,我们研究了语音增强中常用的每个特征的有效性,并在SSL的情况下开发了特征组合。此外,我们还提出了一种集成训练策略。该算法学习纯净语音信号的潜在表示,同时利用去混响模板和估计比率模板对混合语音信号进行去噪和去混响。潜在表示学习和模板估计被认为是训练阶段的两个前任务。此外,为了研究预任务之间的有效性,我们比较了不同的训练例程来训练模型并进一步改进性能。NOISEX和DAPS语料库被用来评估所提出的方法的有效性,这也优于国家的最先进的方法。
2022-06-10 cs.SD eess.AS
Quantum Fourier Transform Based Denoising: Unitary Filtering for Enhanced Speech Clarity
CRL Bharat Electronics Limited(巴拉特电子有限公司中央研究实验室);Indian Institute of Technology Delhi(印度理工学院德里分校)
本研究提出将量子傅里叶变换(QFT)集成到经典音频增强流水线的量子启发去噪框架,替换传统滤波器中的FFT,在多SNR条件下实现最高15dB的SNR提升,且低SNR与非平稳噪声下鲁棒性好、无额外开销,为量子增强语音处理提供可扩展路径。
2025-09-05 cs.ET cs.SD eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University(普林斯顿大学);Adobe Research(奥多比研究院)
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN,这是一种深度学习方法,可以将录制的语音转换为声音,就像在录音室录制的一样。我们使用端到端前馈WaveNet架构,在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器,新的语音内容,和新的环境。在客观和主观实验中,它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
RaD-Net: A Repairing and Denoising Network for Speech Signal Improvement
Northwestern Polytechnical University(西北工业大学);ByteDance(字节跳动)
本文提出用于ICASSP 2024 SSI挑战赛的修复与去噪网络RaD-Net,采用COM-Net替换修复网络并引入多分辨率和多频带判别器及三步训练策略,最终在赛道1和2分获第2和第3名。
2024-01-09 cs.SD eess.AS
Joint Separation and Denoising of Noisy Multi-talker Speech using Recurrent Neural Networks and Permutation Invariant Training
Aalborg University(奥尔堡大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出使用话语级排列不变训练(uPIT)的说话人无关的多说话人语音分离和去噪,同时。具体而言,我们使用uPIT训练深度双向长短期记忆(LSTM)循环神经网络(RNN),用于在多种噪声条件下(包括合成和真实噪声信号)进行单通道说话者独立的多说话者语音分离。我们专注于我们的实验依赖于各种类型的先验知识,例如在噪声类型和同时发言者的数量的模型的泛化能力和噪声鲁棒性。我们表明,在噪声环境中使用uPIT训练的深度双向LSTM RNN可以提高信号失真比(SDR)以及扩展的短时客观可懂度(ESTOI)测量,对于各种噪声类型和信噪比(SNR),在说话人独立的多说话人语音分离和去噪任务中。具体来说,我们首先表明,当使用已知的噪声类型进行评估时,LSTM RNN可以实现较大的SDR和ESTOI改进,并且单个模型能够处理多种噪声类型,性能仅略有下降。此外,我们证明了单个LSTM RNN可以处理两个扬声器和三个扬声器的噪声混合,而无需关于扬声器确切数量的先验知识。最后,我们证明了使用uPIT训练的LSTM RNN可以很好地推广到训练过程中看不到的噪声类型。
2017-08-31 cs.SD eess.AS
Diff-TTS: A Denoising Diffusion Model for Text-to-Speech
Seoul National University(首尔国立大学);Neosapience, Inc.(Neosapience公司)
虽然神经文本转语音(TTS)模型已经吸引了大量的关注,并成功地产生了类似人类的语音,但其自然度和架构效率仍有改进的空间。在这项工作中,我们提出了一种新的非自回归TTS模型,即Diff-TTS,它实现了高度自然和高效的语音合成。在给定文本的情况下,Diff-TTS利用去噪扩散框架通过扩散时间步长将噪声信号转换为梅尔频谱图。为了学习基于文本的梅尔语谱分布,我们提出了一种基于似然的优化方法。此外,为了提高推理速度,我们利用加速采样方法,使Diff-TTS生成原始波形更快,而不会显着降低感知质量。通过实验,我们验证了Diff-TTS的生成速度比使用单个NVIDIA 2080 Ti GPU的实时生成速度快28倍。
2021-04-03 cs.AI cs.SD eess.AS
Speech Denoising with Auditory Models
Department of Brain and Cognitive Sciences, MIT, USA(脑科学与认知科学系,麻省理工学院);McGovern Institute for Brain Research, MIT, USA(脑研究麦戈文研究所,麻省理工学院);Center for Brains, Minds and Machines, MIT, USA(脑、心智与机器中心,麻省理工学院);MIT-IBM Watson AI Lab, IBM Research, USA(麻省理工-IBM沃森人工智能实验室,IBM研究院)
本文探究将听觉模型的深度特征作为感知损失用于语音去噪的效果,发现其去噪表现优于基线与过往深度特征损失方法,但并未优于无需学习特征的简单替代方案。
2021-08-13 cs.SD eess.AS
SpatialNet: Extensively Learning Spatial Information for Multichannel Joint Speech Separation, Denoising and Dereverberation
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
提出SpatialNet神经网络,通过窄带与跨带块广泛利用空间信息,在多通道联合语音分离、去噪和去混响任务上达到最先进性能,并验证了其说话人聚类机制。
2023-12-22 cs.SD eess.AS
Noise-Robust Voice Conversion by Conditional Denoising Training Using Latent Variables of Recording Quality and Environment
The University of Tokyo(东京大学);Keio University(庆应义塾大学);LY Corp.(LY公司)
针对未见噪声下语音转换自然度受限的问题,提出用录音质量与环境潜变量条件化VC模型的去噪训练方法,并通过主客观评估验证其转换语音质量提升。
2024-06-11 cs.SD eess.AS
A Multi-Resolution Front-End for End-to-End Speech Anti-Spoofing
Lab of Intelligent Information Processing, PLAAEU(陆军工程大学智能信息处理实验室);KU Leuven(鲁汶大学);Center for Speech and Language Technologies, BNRist, Tsinghua University(清华大学语音与语言技术中心)
在涉及语音信号分类的任务中,最佳时间-频率分辨率的选择通常是困难但重要的步骤,语音反欺骗不同的时频分辨率的选择的性能的变化可以与具有不同的模型架构的那些一样大,这使得很难判断当一个新的网络架构被发明并引入作为分类器时,实际上是从哪里来的改进。在本文中,我们提出了一个多分辨率前端的特征提取在一个端到端的分类框架。给定分类任务的目标,将自动学习多个时频分辨率的最佳加权组合。以不同的时间-频率分辨率提取的特征被加权并连接作为连续网络的输入,其中权重由受挤压和激励网络(SENet)中的加权块启发的可学习神经网络预测。此外,所选择的时间频率分辨率的细化研究修剪的重要性相对较低,这降低了模型的复杂性和规模。该方法在ASVSpoof 2019中的语音反欺骗任务上进行了评估,并通过与类似基线的比较证明了其优越性。
2021-10-11 cs.SD eess.AS
Low-Power End-to-End Cochlear Implant Speech Denoising with Spiking Neural Networks
University of Sherbrooke(谢布鲁克大学)
本研究针对人工耳蜗用户在嘈杂环境中语音理解困难的问题,提出受Deep ACE架构启发的脉冲神经网络,可同时实现语音增强与CI编码,在保持性能的同时能耗降低超6倍。
2026-08-31 cs.NE cs.SD eess.AS
Sparse Mixture of Local Experts for Efficient Speech Enhancement
Indiana University(印第安纳大学)
在本文中,我们研究了一种通过高效的专家神经网络集成进行语音去噪的深度学习方法。通过将语音去噪任务拆分为不重叠的子问题并引入分类器,我们能够提高去噪性能,同时降低计算复杂度。更具体地说,该模型采用了一个门控网络,该网络将噪声语音信号分配给一个适当的专家网络的基础上,无论是语音退化水平或扬声器性别。在我们的实验中,基线递归网络与由辅助门控网络调节的类似设计的较小递归网络的集合进行比较。使用随机生成的批次从一个大的嘈杂的语音语料库,该模型学习估计的时间-频率掩蔽矩阵的基础上的输入混合信号的幅度谱图。基线和专家网络都经过训练以估计理想的比率掩码,而门控网络则经过训练以执行子问题分类。我们的研究结果表明,一个微调的集成网络能够超过一个通才网络的语音去噪能力,这样做的模型参数较少。
2020-05-16 cs.LG cs.SD eess.AS
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
本文提出了一种方法来估计卷积波束形成器,可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差(WPE)方法的去混响的应用,然后基于最小方差无失真响应(MVDR)波束形成器的去噪,传统上被认为是有前途的方法,然而,不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成,我们提出了一种方法,该方法将WPE去混响方法和MVDR波束形成器的变体,即最小功率无失真响应(MPDR)波束形成器,合并为单个卷积波束形成器,并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应(WPD)波束形成器。实验结果表明,该方法在客观语音增强指标和自动语音识别(ASR)性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
Simultaneous Denoising and Dereverberation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
单耳语音去混响是一个非常具有挑战性的任务,因为没有空间线索可以使用。当加性噪声存在时,这个任务变得更具挑战性。本文提出了一种基于深度聚类(DC)的联合训练方法,用于同时使用深度嵌入特征进行语音去噪和去混响。DC是一种最先进的语音分离方法,包括嵌入学习和K-means聚类。对于我们提出的方法,它包括两个阶段:去噪和去混响。在去噪阶段,利用DC网络来提取无噪声的深度嵌入特征。这些嵌入特征从消声语音和残余混响信号中生成。它们可以表示所需信号的推断的频谱掩蔽模式,这是有区别的特征。在去混响阶段,而不是使用无监督的K-means聚类算法,另一个监督的神经网络被用来估计从这些深嵌入特征的消声语音。最后,采用联合训练方法对去噪和去混响阶段进行优化。实验结果表明,该方法优于WPE和BLSTM基线,特别是在低信噪比条件下。
2020-04-06 cs.LG cs.SD eess.AS
DiffMotion: Speech-Driven Gesture Synthesis Using Denoising Diffusion Model
Macau University of Science and Technology(澳门科技大学);Communication University of Zhejiang(浙江传媒学院);Ningbo University of Finance & Economics(宁波财经学院)
语音驱动的手势合成是虚拟人创建中越来越受关注的领域。然而,一个关键的挑战是语音和手势之间固有的复杂的一对多映射。以往的研究已经探索并取得了显着的进展与生成模型。尽管如此,大多数合成手势仍然远不自然。提出了一种基于扩散模型的语音驱动手势合成架构DiffMotion。该模型包括自回归时间编码器和去噪扩散概率模块。编码器提取语音输入和历史手势的时间上下文。扩散模块学习参数化马尔可夫链,将简单分布逐步转换为复杂分布,并根据伴随语音生成手势。与基线相比,客观和主观的评价证实,我们的方法可以产生自然和多样化的手势,并证明了基于扩散的模型对语音驱动的手势合成的好处。
2023-02-02 cs.CV cs.GR cs.HC
Star DGT: a Robust Gabor Transform for Speech Denoising
National and Kapodistrian University of Athens(雅典国立卡波迪斯特里安大学);RWTH Aachen University(亚琛工业大学)
针对含高斯、粉红和蓝色噪声的语音去噪问题,论文利用 Zauner 酉矩阵特征向量构造 spark 亏缺的冗余 Gabor 框架,并证明其在真实语音实验中一致优于三种先进窗函数基线。
2021-12-27 cs.IT cs.SD eess.AS