Perceptual Contrast Stretching on Target Feature for Speech Enhancement
Academia Sinica(中央研究院);Microsoft Corporation(微软公司)
由于使用深度学习模型作为基础函数,语音增强(SE)性能得到了显著改善。在这里,我们提出了一个感知对比度拉伸(PCS)的方法,以进一步提高SE性能。PCS是基于临界频带重要性函数推导出来的,并应用于修正SE模型的目标。具体而言,目标特征的对比度基于感知重要性被拉伸,从而提高整体SE性能。与基于后处理的实现相比,将PCS并入训练阶段保留了性能并减少了在线计算。值得注意的是,PCS可以与不同的SE模型架构和训练标准相结合。此外,PCS不影响SE模型训练的因果关系或收敛性。在VoiceBank-DEMAND数据集上的实验结果表明,该方法在因果(PESQ得分= 3.07)和非因果(PESQ得分= 3.35)SE任务上都能达到最先进的性能。
2022-07-15 cs.CL cs.SD eess.AS
Convolutional Neural Network-based Speech Enhancement for Cochlear Implant Recipients
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
为人工耳蜗(CI)用户开发具有改进的语音可懂度的语音增强算法的尝试已经取得了有限的成功。为了改善语音增强方法CI用户,我们建议进行语音增强耳蜗滤波器银行的特征空间,一个功能集专门为CI用户设计的基础上CI听觉刺激。我们利用卷积神经网络(CNN)来提取环境声学和语音的平稳和非平稳分量。我们提出了三种CNN架构:(1)直接生成增强信号的香草型CNN;(2)首先预测噪声,然后通过从噪声信号中减去噪声来生成增强信号的谱减法型CNN(SS-CNN);(3)生成用于抑制噪声的最佳掩码的维纳型CNN(Wiener-CNN)。所提出的网络的一个重要问题是,它们引入了相当大的延迟,这限制了CI用户的实时应用。为了解决这个问题,本研究还考虑了这些网络的因果变化。我们的实验表明,所提出的网络(因果和非因果形式)实现了显着改善现有的基线系统。我们还发现,因果Wiener-CNN优于其他网络,并导致最佳的整体包络系数测量(ECM)。所提出的算法代表了一个可行的选择CCi-MOBILE的研究平台上实现的CI用户在自然环境中作为一个预处理器。
2019-07-03 cs.LG cs.SD eess.AS
Latency-Configurable Streaming Speech Enhancement via Asymmetric Temporal Padding
Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)(电气工程系,浦项科技大学);Intus Co. Ltd.(Intus有限公司)
提出LaCo-SENet,通过非对称时间填充和双缓冲流式机制,在单一超参数下实现延迟与质量的灵活权衡,在VoiceBank+DEMAND上以1.37M参数获得12.5-75.0ms延迟范围,PESQ从3.35到3.43。
2026-08-19 cs.SD eess.AS
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University(斯泰伦博斯大学);The University of Edinburgh(爱丁堡大学)
对于我们提交的ZeroSpeech 2019挑战,我们将离散潜变量神经网络应用于未标记的语音,并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器(AE)架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时,单元发现从一个看不见的扬声器的语音进行,然后由一个已知的目标扬声器单元解码条件,以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化,分类变分自编码器(CatVAE),矢量量化的VAE(VQ-VAE)和直通估计进行了比较,在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码,VQ-VAE离散化,解卷积解码和FFTNet声码器。我们表明,解耦扬声器调节本质上提高了离散的声学表示,产生竞争力的合成质量相比,挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
An Empirical Study on the Impact of Positional Encoding in Transformer-based Monaural Speech Enhancement
University of New South Wales(新南威尔士大学);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Meta;The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文实证研究了五种位置编码方法在因果与非因果配置下对基于Transformer的单声道语音增强的影响,发现非因果配置显著受益于位置编码且相对位置嵌入优于绝对位置嵌入,而因果配置则帮助不大。
2024-02-13 cs.SD eess.AS
Dense CNN with Self-Attention for Time-Domain Speech Enhancement
The Ohio State University(俄亥俄州立大学)
时域语音增强由于能够同时增强语音的幅度和相位,近年来变得越来越流行。在这项工作中,我们提出了一个密集的卷积网络(DCN)与自注意力的语音增强在时域。DCN是一种基于编码器和解码器的架构,具有跳过连接。编码器和解码器中的每一层包括密集块和注意模块。密集块和注意力模块有助于使用特征重用,增加网络深度和最大上下文聚合的组合进行特征提取。此外,我们揭示了以前未知的问题与增强语音的频谱幅度的基础上的损失。为了缓解这些问题,我们提出了一种新的损失的增强语音和预测噪声的幅度的基础上。即使所提出的损失仅基于幅度,由噪声预测施加的约束确保损失增强幅度和相位。实验结果表明,DCN训练与建议的损失大大优于其他国家的最先进的因果和非因果语音增强的方法。
2021-03-08 cs.SD eess.AS
An Investigation of Incorporating Mamba for Speech Enhancement
Academia Sinica(中国科学院);National Taiwan University(国立台湾大学);Kore University of Enna(恩纳大学);University of Palermo(巴勒莫大学);NVIDIA(NVIDIA公司)
本研究探索将免注意力状态空间模型Mamba用于语音增强,提出SEMamba模型,在VoiceBank-DEMAND上取得PESQ 3.69的新最优,并显著降低计算量,同时可作ASR预处理。
2025-10-07 cs.AI cs.SD eess.AS
Real Time Speech Enhancement in the Waveform Domain
Facebook AI Research(脸书人工智能研究院);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
我们提出了一个因果语音增强模型的原始波形,在笔记本电脑CPU上实时运行。该模型是基于一个跳过连接的编码器-解码器架构。它使用多个损失函数在时域和频域上进行优化。实验结果表明,该方法能够有效地去除各种背景噪声,包括平稳和非平稳噪声,以及室内混响。此外,我们提出了一套直接应用于原始波形的数据增强技术,进一步提高模型的性能和泛化能力。我们对几个标准基准进行评估,使用客观指标和人类判断。所提出的模型匹配因果和非因果方法的最新性能,同时直接对原始波形进行处理。
2020-09-06 cs.LG cs.SD eess.AS
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra(庞培法布拉大学);Eurecat, Centre Tecnològic de Catalunya(加泰罗尼亚技术中心Eurecat);Microson, Amplifon Group(Amplifon集团Microson公司)
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能,通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验,证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
Real-time speech enhancement using equilibriated RNN
Waseda University(早稻田大学);NTT Media Intelligence Laboratories(NTT媒体智能实验室)
我们提出了一种使用因果深度神经网络(DNN)进行实时应用的语音增强方法。DNN被广泛用于估计增强语音信号的时频T-F掩模。一种流行的DNN结构是递归神经网络(RNN),因为它能够有效地对语音等时间序列数据进行建模。特别是,长短期记忆(LSTM)通常用于缓解梯度消失/爆炸问题,这使得RNN的训练变得困难。然而,LSTM的参数数量增加了作为减轻训练难度的代价,这需要更多的计算资源。对于实时语音增强,优选使用较小的网络而不损失性能。本文提出用平衡递归神经网络(ERNN)在不增加参数的情况下避免梯度消失/爆炸问题。拟议的结构是因果关系,它只需要过去的信息,以便实时应用。与单向和双向LSTM网络相比,该方法以更少的参数实现了类似的性能。
2020-02-14 cs.SD eess.AS
Speech Enhancement Using Self-Supervised Pre-Trained Model and Vector Quantization
University of Science and Technology of China(中国科学技术大学);National Engineering Research Center for Speech and Language Information Processing(国家语音及语言信息处理工程技术研究中心)
随着深度学习的发展,基于神经网络的语音增强(SE)模型表现出了优异的性能。同时,研究表明,自监督预训练模型的开发可以应用于各种下游任务。在本文中,我们将考虑将预训练模型应用于实时SE问题。具体来说,DEMUCS模型的编码器和瓶颈层使用自监督预训练WavLM模型进行初始化,编码器中的卷积由因果卷积代替,瓶颈层中的Transformer编码器基于因果注意掩码。此外,由于离散化含噪语音表示更有利于去噪,我们利用量化模块对瓶颈层输出的表示进行离散化,然后将其输入解码器以重建干净的语音波形。在Valentini数据集和内部数据集上的实验结果表明,基于预训练模型的初始化可以提高SE性能,离散化操作在一定程度上抑制了表示中的噪声分量,这可以进一步提高性能。
2022-09-28 cs.SD eess.AS
A Systematic Comparison of Phonetic Aware Techniques for Speech Enhancement
Hebrew University of Jerusalem(希伯来大学);Meta AI Research(Meta人工智能研究院)
语音增强在近年来使用端到端神经网络已经有了很大的改进。然而,大多数模型对口语语音内容是不可知的。最近,一些研究提出了语音感知的语音增强,主要是使用感知监督。然而,在模型优化期间注入语音特征可以采取附加形式(例如,模型调节)。在本文中,我们进行了系统的比较不同的方法,将语音信息的语音增强模型。通过进行一系列的对照实验,我们观察到不同的语音内容模型以及各种特征注入技术对增强性能的影响,考虑因果和非因果模型。具体来说,我们评估了三种用于注入语音信息的设置,即:i)特征调节; ii)感知监督; iii)正则化。语音特征是通过使用有监督的预训练自动语音识别(ASR)模型的中间层或通过使用预训练的自监督学习(SSL)模型来获得的。我们进一步观察选择不同的嵌入层对性能的影响,同时考虑手动和学习的配置。结果表明,在大多数情况下,使用SSL模型作为语音特征优于ASR模型。有趣的是,调节设置在评估的配置中表现最好。
2022-06-22 cs.LG cs.SD eess.AS
Exploring Tradeoffs in Models for Low-latency Speech Enhancement
Google Research(谷歌研究院);Google Chrome Audio(谷歌Chrome音频团队)
我们探讨了各种神经网络配置的单通道和双通道频谱掩模为基础的语音增强。我们的最佳模型在CHiME2语音增强任务上的先前最先进的性能上提高了0.4分贝的信号失真比(SDR)。我们研究权衡,如非因果前瞻,计算和参数计数与增强性能,发现零前瞻模型可以实现,平均而言,在0.03 dB SDR的最佳双向模型。此外,我们发现,200毫秒的前瞻性足以实现与我们最好的双向模型相当的性能。
2018-11-16 cs.SD eess.AS
Real-time speech enhancement with dynamic attention span
MSRA(微软亚洲研究院)
对于包括噪声抑制、混响消除和声学回声消除在内的实时语音增强(SE),音频信号的时变性成为一个严峻的挑战。因果关系和内存使用限制,只有历史信息可以用于系统捕获的时变特性。我们提出在基于SE模型的深度神经网络中根据输入信号自适应地改变感受野。具体地,在编码器-解码器框架中,向所有注意力模块引入动态注意力跨度机制,用于控制用于处理当前帧的历史内容的大小。实验结果表明,该动态机制能更好地跟踪时变因素,捕捉语音相关特征,有利于干扰去除和语音质量保持。
2023-02-21 cs.SD eess.AS
OSSEM: one-shot speaker adaptive speech enhancement using meta learning
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所)
尽管深度学习(DL)在语音增强(SE)方面取得了显著的进展,但是仍然需要进一步的研究来使基于DL的SE系统有效地且高效地适应特定说话者。在这项研究中,我们提出了一种新的基于元学习的说话人自适应SE方法(称为OSSEM),旨在实现SE模型自适应在一个单一的方式。OSSEM由改进的Transformer SE网络和特定于说话人的掩蔽(SSM)网络组成。在实践中,SSM网络采用ECAPA-TDNN提取的注册说话人嵌入,通过掩蔽来调整输入的噪声特征。为了评估OSSEM,我们设计了一个修改后的语音银行DEMAND数据集,其中一个话语从测试集用于模型自适应,其余话语用于测试性能。此外,我们设置的限制,使增强过程中进行实时,从而设计OSSEM是一个因果SE系统。实验结果首先表明,OSSEM可以有效地适应一个预先训练的SE模型,以特定的扬声器只有一个发言,从而产生改进的SE结果。同时,OSSEM表现出竞争力的性能相比,国家的最先进的因果SE系统。
2021-11-10 cs.SD eess.AS
ForkNet: Simultaneous Time and Time-Frequency Domain Modeling for Speech Enhancement
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Acoustics, Chinese Academy of Science(中国科学院声学研究所)
针对语音增强中时域与时频域信息未同步建模的问题,提出ForkNet,以DPT-FSNet为基线,采用三编码器结构并引入特征融合模块,在保持模型紧凑和低计算复杂度的同时,取得了优于现有最先进因果模型的性能。
2023-05-15 cs.SD eess.AS
Dual-path Self-Attention RNN for Real-Time Speech Enhancement
The Ohio State University(俄亥俄州立大学)
提出了一种用于时域语音增强的双路径自注意递归神经网络(DP-SARNN)。我们改进了双路径RNN(DP-RNN),通过使用最近提出的高效注意力机制来增强块间和块内RNN。块间注意和块内注意的组合改进了用于长语音帧序列的注意力机制。DP-SARNN通过使用比DP-RNN大四倍的帧移位来优于基线DP-RNN,这导致每个话语的计算时间大大减少。因此,我们开发了一个实时的【形】DP-SARNN,通过使用长短期记忆(LSTM)RNN和因果注意在块间SARNN。DP-SARNN显著优于现有的语音增强方法,平均需要7.9 ms的CPU时间来处理32 ms的信号块。
2021-04-29 cs.SD eess.AS
RT-SEMamba: Real-Time Speech Enhancement Mamba via Progressive Knowledge Distillation
Academia Sinica(中央研究院);National Taiwan University(台湾大学);Kore University of Enna(恩纳科雷大学);University of Palermo(巴勒莫大学);NVIDIA(英伟达公司)
该研究提出基于因果时频Mamba模块的全因果语音增强模型RT-SEMamba,通过渐进式知识蒸馏压缩模型,在Voicebank-DEMAND数据集上实现了高质量与低延迟的实时语音增强,速度较教师模型提升2.75倍。
2026-09-17 cs.CL cs.SD
Breaking the trade-off in personalized speech enhancement with cross-task knowledge distillation
Microsoft Research(微软研究院)
与无条件语音增强模型相比,个性化语音增强(PSE)模型具有去除干扰语音和背景噪声的能力,因此获得了令人满意的结果。与无条件语音增强不同,因果PSE模型可能偶尔错误地移除目标语音。当目标说话者长时间沉默时,PSE模型也倾向于泄漏干扰语音。我们表明,现有的PSE方法遭受语音过抑制和干扰泄漏之间的权衡,解决一个问题的代价是其他。我们提出了一个新的PSE模型训练框架,使用跨任务的知识蒸馏,以减轻这种权衡。具体来说,我们利用个性化的语音活动检测器(pVAD)在训练过程中,排除非目标语音帧被错误地识别为包含目标扬声器与硬或软分类。这防止PSE模型过于激进,同时仍然允许模型学习在输入语音可能由干扰说话者说出时抑制输入语音。全面的评估结果,涵盖各种PSE的使用场景。
2022-11-05 cs.SD eess.AS
One model to enhance them all: array geometry agnostic multi-channel personalized speech enhancement
Microsoft Research(微软研究院)
随着最近视频会议工具使用的激增,提供高质量的语音信号和准确的字幕对于开展日常业务或与朋友和家人联系至关重要。与无条件语音增强(SE)方法相比,单通道个性化语音增强(PSE)方法在这些场景中表现出了良好的效果,这是因为除了环境噪声之外,PSE方法还具有去除干扰语音的能力。在这项工作中,我们利用麦克风阵列提供的空间信息,以进一步提高此类系统的性能。我们研究了说话人嵌入和空间特征的相对重要性。此外,我们提出了一种新的因果阵列几何不可知的多通道PSE模型,它可以产生一个高质量的增强信号从任意麦克风的几何形状。实验结果表明,该模型在语音质量和自动语音识别准确率方面均优于在特定麦克风阵列几何条件下训练的模型。我们还证明了所提出的方法看不见的阵列几何形状的有效性。
2021-10-20 cs.SD eess.AS
Study of Lightweight Transformer Architectures for Single-Channel Speech Enhancement
IDLab, Department of Electronics and Information Systems(ID实验室,电子与信息系统系)
本文提出了一种轻量级因果变换器架构LCT-GAN,通过改进的频谱和时序建模,在保持高性能的同时显著降低计算开销。
2025-05-27 cs.SD eess.AS
Deep Interaction between Masking and Mapping Targets for Single-Channel Speech Enhancement
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
最新的深度神经网络(DNN)模型在时频(T-F)幅度域中表现出令人印象深刻的去噪性能。然而,相位也是语音信号中容易被忽视的关键成分。在本文中,我们提出了一个多分支扩张卷积网络(DCN),同时增强噪声语音的幅度和相位。基于复谱和理想比率模板目标的多目标学习框架,实现了一种因果性和鲁棒性的单耳语音增强系统。在联合学习过程中,将目标间的中间估计作为特征注意因子的生成方式,实现两个目标间的信息交互。此外,所提出的多尺度扩张卷积使DCN模型具有更有效的时间建模能力。实验结果表明,与现有的语音识别模型相比,该模型具有更好的语音质量和可懂度,且计算量更小。
2021-06-09 cs.SD eess.AS
Speech Denoising in the Waveform Domain with Self-Attention
NVIDIA(英伟达)
在这项工作中,我们提出了CleanUNet,一个因果语音去噪模型的原始波形。该模型是基于一个编码器-解码器架构结合几个自注意块,以改善其瓶颈表示,这是至关重要的,以获得良好的效果。该模型通过一组定义在波形和多分辨率频谱图的损失进行优化。所提出的方法优于国家的最先进的模型,从各种客观和主观评价指标的去噪语音质量。我们在https://github.com/nvidia/cleanunet上发布我们的代码和模型。
2022-07-07 cs.LG cs.SD eess.AS
DFSNet: A Steerable Neural Beamformer Invariant to Microphone Array Configuration for Real-Time, Low-Latency Speech Enhancement
University of Texas at Dallas(德克萨斯大学达拉斯分校)
麦克风阵列配置的不变性是神经波束形成器中罕见的属性。此类中的滤波求和(FS)方法定义相对于参考通道的目标信号。然而,这不仅使混响条件下的公式化复杂化,而且使网络复杂化,网络必须具有推断参考通道是什么的机制。为了解决这些问题,本研究提出了延迟滤波求和网络(DFSNet),一个可控的神经波束形成器不变的麦克风数量和阵列的几何形状的因果语音增强。在DFSNet中,在FS操作之前,首先将获取的信号转向语音源方向,这将任务简化为延迟和求和的混响干净语音的估计。所提出的模型被设计为产生低延迟、失真、以及存储器和计算负担,从而在助听器应用中产生高潜力。仿真结果显示,可比的性能非因果的最先进的。
2023-02-26 cs.SD eess.AS
Self-Supervised Learning for Speech Enhancement through Synthesis
Bose Corporation(博士公司);Georgia Institute of Technology(佐治亚理工学院)
现代语音增强(SE)网络通常通过时频掩蔽、潜在表示掩蔽或区分信号预测来实现噪声抑制。相比之下,最近的一些作品通过生成语音合成探索SE,其中系统的输出在固有的有损特征去噪步骤之后由神经声码器合成。在本文中,我们提出了一种去噪声码器(DeVo)的方法,其中声码器接受嘈杂的表示,并学习直接合成干净的语音。我们利用自监督学习(SSL)语音模型的丰富表示来发现相关特征。我们在15个潜在的SSL前端进行候选搜索,随后训练我们的声码器对抗最好的SSL配置。此外,我们展示了一个因果版本,能够在流媒体音频上运行,延迟10毫秒,性能下降最小。最后,我们进行了客观评估和主观听力研究,以表明我们的系统提高了客观指标,主观上优于现有的最先进的SE模型。
2022-11-04 cs.CL cs.LG cs.SD
A Neural Beam Filter for Real-time Multi-channel Speech Enhancement
University of Chinese Academy of Sciences(中国科学院大学)
大多数基于深度学习的多通道语音增强方法侧重于设计一组波束形成系数来直接过滤麦克风接收到的低信噪比信号,这阻碍了这些方法的性能。为了解决这些问题,本文设计了一个因果神经波束滤波器,充分利用波束域的空间光谱信息。具体地,多个波束被设计为在第一阶段中使用参数化的超定向波束形成器朝向所有方向转向。然后,通过对语音和干扰的空间和频谱分辨能力同时建模,学习神经空间滤波器,从而在第二阶段粗提取期望语音。最后,为了进一步抑制特别是在低频处的干扰分量,采用残差估计模块来细化第二级的输出。实验结果表明,所提出的方法优于许多国家的最先进的多通道方法上生成的多通道语音数据集的基础上DNS-Challenge数据集。
2022-02-05 cs.SD eess.AS
Lightweight DNN for Full-Band Speech Denoising on Mobile Devices: Exploiting Long and Short Temporal Patterns
Nokia Technologies Espoo, Finland(诺基亚技术公司(埃斯波,芬兰));Nokia Technologies Tampere, Finland(诺基亚技术公司(塔尔皮奥拉,芬兰));Nokia Bell Labs Antwerp, Belgium(诺基亚贝尔实验室(安特卫普,比利时))
针对移动设备上全带低延迟语音去噪资源受限的问题,提出一种结合长短时间模式的轻量因果DNN方法,基于改进UNet架构,在手机上实时因子低于0.02,(SI-)SDR性能优于现有同类方法。
2025-09-05 cs.LG cs.SD eess.AS
Neural Directed Speech Enhancement with Dual Microphone Array in High Noise Scenario
Shanghai Jiao Tong University(上海交通大学);AISpeech Ltd(思必驰科技有限公司)
针对极低信噪比下有限麦克风阵列的语音增强难题,提出三导向空间选择方法和因果导向U-Net模型,仅用双麦克风阵列即可实时实现高质量定向语音增强。
2024-12-30 cs.SD eess.AS
Bridging Self-Supervised Learning and Speech Enhancement: A Wav2Vec2-Conditioned Framework
Institute for Systems Research, University of Maryland, College Park(系统研究所,马里兰大学,College Park)
提出一种以wav2vec 2.0特征为条件的扩散模型语音增强方法,通过FiLM调制U-Net瓶颈,利用指数平滑聚合系数,在VoiceBank-DEMAND和LibriMix上PESQ提升0.4。
2026-06-23 cs.SD eess.AS
BASENet: Band-Adapted Speech Enhancement Network with Cross-Band Attention
Thales SIX GTS, FRANCE(泰雷兹SIX GTS公司,法国)
提出BASENet,通过Bark尺度划分频带并分配自适应容量编码器,结合跨频带注意力模块,以最少参数实现高PESQ和STOI,适用于资源受限设备。
2026-06-12 cs.AI cs.LG cs.SD
Convolutional Recurrent Neural Network Based Progressive Learning for Monaural Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Research Institute of Highway Ministry of Transport(交通运输部公路科学研究院)
最近,渐进式学习已经显示出其在与基于深度神经网络(DNN)和长短期记忆(LSTM)的单声道语音增强算法相结合时改善语音质量和语音可懂度的能力,特别是在低信噪比(SNR)条件下。然而,由于大量的参数和高计算复杂性,很难在当前资源有限的微控制器中实现,因此,对于实际应用而言,显著减少参数的数量和计算负荷是必要的。为此,我们提出了一种新的渐进式学习框架与因果卷积递归神经网络称为PL-CRNN,它利用了卷积神经网络和递归神经网络,大大减少了参数的数量,同时提高语音质量和语音清晰度。大量的实验验证了所提出的PL-CRNN模型的有效性,并表明它产生了一致的性能优于PL-DNN和PL-LSTM算法,并且在客观测量方面,它也得到了接近甚至优于CRNN的结果。与PL-DNN,PL-LSTM和CRNN相比,所提出的PL-CRNN算法可以分别减少高达93%,97%和92%的参数数量。
2020-01-11 cs.SD eess.AS
Real-Time Joint Personalized Speech Enhancement and Acoustic Echo Cancellation
Microsoft(微软)
本文提出适用于多种架构的因果建模方法,用于实时联合个性化语音增强与声学回声消除,实验表明联合模型接近单独专家模型并显著优于其在联合任务上的表现。
2023-05-25 cs.SD eess.AS
Deep Residual-Dense Lattice Network for Speech Enhancement
Institute for Integrated and Intelligent Systems, Griffith University, Australia(格里菲斯大学综合智能系统研究所);School of Artificial Intelligence, Xidian University, China(西安电子科技大学人工智能学院)
具有残差链接(ResNets)和因果扩张卷积单元的卷积神经网络(CNN)一直是深度学习方法用于语音增强的首选网络。虽然残差链接在训练期间改善了梯度流,但由于与较深层输出的重复求和,可能会发生浅层输出的特征减少。提高特征重用的一种策略是融合ResNets和密集连接的CNN(DenseNets)。然而,DenseNets为功能重用过度分配参数。受此启发,我们提出了残差密集格型网络(RDL-Net),这是一种新的CNN用于语音增强,它采用残差和密集聚合,而不会过度分配参数用于特征重用。这是通过RDL块的拓扑来管理的,RDL块限制了用于密集聚合的输出数量。我们广泛的实验研究表明,RDL-Net能够比采用残留和/或密集聚合的CNN实现更高的语音增强性能。RDL-Net使用的参数也少得多,计算要求也低。此外,我们证明RDL-Nets在语音增强方面优于许多最先进的深度学习方法。
2020-02-27 cs.LG cs.SD eess.AS
A Wavenet for Speech Denoising
Music Technology Group(音乐技术小组);Universitat Pompeu Fabra(庞培法布拉大学)
目前,大多数语音处理技术使用幅度谱图作为前端,因此默认情况下会丢弃信号的一部分:相位。为了克服这一局限性,我们提出了一种基于Wavenet的语音去噪端到端学习方法。所提出的模型自适应保留了Wavenet的强大的声学建模能力,同时通过消除其自回归性质显着降低其时间复杂度。具体而言,该模型利用非因果的扩张卷积,并预测目标场,而不是单个目标样本。我们提出的模型的区分适应,通过最小化回归损失以监督的方式学习。这些修改使模型在训练和推理过程中具有高度并行性。计算和感知评估表明,所提出的方法是优选的维纳滤波,一种常见的方法的基础上处理的幅度谱图。
2018-01-31 cs.SD
Two-Step Knowledge Distillation for Tiny Speech Enhancement
Bose Corporation(博士公司)
本文提出一种面向微型语音增强的两步知识蒸馏方法,先仅用KD目标预训练学生模型再切换至全监督训练,并引入细粒度相似性保持KD损失,在高压缩和低信噪比条件下显著提升了信噪失真比。
2023-09-15 cs.LG cs.SD eess.AS
RT-Tango: Real-Time Distributed Binaural Speech Enhancement for Low-Power Hearing Aid Devices
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学,法国原子能委员会,List实验室);Université de Lorraine, CNRS, Inria, LORIA(洛林大学,法国国家科学研究中心,法国国家信息与自动化研究所,洛林计算机科学及其应用实验室)
提出RT-Tango实时分布式双耳语音增强框架,通过ERB特征压缩、轻量级分组循环掩码估计和时间稀疏化降低计算成本,结合非对称STFT和因果推理实现8ms超低延迟,在资源受限平台上达到竞争性增强效果。
2026-07-03 cs.SD
Low-Latency Neural Models for Real-Time Music Enhancement
JKU(林茨约翰内斯开普勒大学)
研究严格因果和低延迟约束下的实时音乐增强,采用紧凑因果网络并与多种模型比较,结果显示改进因多种因素而异,主要贡献是给出基准和分析,强调实时音乐增强虽可行,但稳健改进需多方面考量。
2026-07-15 cs.SD
A Model Compression Method with Matrix Product Operators for Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);School of Science, Renmin University of China(中国人民大学理学院);Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences(中国科学院新疆理化技术研究所)
基于深度神经网络(DNN)的语音增强方法已经取得了令人满意的性能。然而,在这些方法中涉及的参数的数量通常是巨大的语音增强的设备上的资源有限的实际应用。这严重限制了应用。为了解决这个问题,人们正在广泛研究模型压缩技术。在本文中,我们提出了一个模型压缩方法的基础上矩阵乘积算子(MPO),大大减少了参数的数量DNN模型的语音增强。该方法在训练前将神经网络模型线性变换中的权矩阵替换为MPO分解形式。在实验中,这一过程被应用于因果神经网络模型,如前馈多层感知器(MLP)和长短期记忆(LSTM)模型。然后利用具有/不具有压缩的MLP和LSTM模型来估计用于单声道语音增强的理想比率掩模。实验结果表明,我们提出的基于MPO的方法优于广泛使用的修剪方法的语音增强在各种压缩率下,并进一步改善可以实现相对于低压缩率。我们的建议提供了一个有效的模型压缩方法的语音增强,特别是在无云的应用。
2020-10-10 cs.LG cs.SD eess.AS
Causal-Anticausal Decomposition of Speech using Complex Cepstrum for Glottal Source Estimation
University of Mons(蒙斯大学);Izmir Institute of Technology(伊兹密尔理工学院)
复倒谱在文献中已知用于线性分离因果分量和反因果分量。依靠ZZT技术的零值,我们在这里研究了在大规模数据库上使用复倒谱进行声门流量估计的可能性。通过系统的研究窗口对反卷积质量的影响,我们表明,复倒谱cascarianticausal分解可以有效地用于声门流量估计时,满足特定的窗口标准。它还表明,这种复杂的倒谱分解得到类似的声门估计与ZZT方法。然而,由于复倒谱使用FFT运算而不需要高次多项式的因式分解,因此该方法受益于更高的速度。最后,在我们的一个大语料库的真实表达语音的测试,我们表明,该方法具有潜在的语音质量分析。
2019-12-30 cs.CL cs.SD eess.AS
Speech Signal Improvement Using Causal Generative Diffusion Models
在本文中,我们提出了一个因果语音信号改善系统,旨在处理不同类型的失真。该方法是基于一个生成扩散模型,已被证明是工作良好的情况下,丢失数据和非线性腐败。为了保证因果处理,我们修改了我们以前的工作的网络架构,并取代因果自适应增益控制的全球规范化。我们生成包含广泛失真的各种训练数据。这项工作是在“ICASSP信号处理大挑战”的背景下进行的,并提交给“语音信号改善挑战2023”的非实时轨道,在那里它排名第五。
2023-03-15 cs.SD eess.AS
DENSE: Dynamic Embedding Causal Target Speech Extraction
针对静态嵌入难以捕捉已提取语音上下文的问题,提出DENSE动态嵌入因果TSE模型,通过自回归生成上下文相关嵌入,实现实时帧级提取并提升STOI与SDR。
2024-12-10 cs.SD eess.AS
Real-Time Streamable Generative Speech Restoration with Flow Matching
Signal Processing Group, Dept. of Informatics, Universität Hamburg(信息学院信号处理组,汉堡大学)
本文提出Stream.FM流式生成模型,通过优化架构和压缩技术实现低延迟的实时语音处理,展示其在语音增强等任务中的高性能表现。
2026-04-21 cs.LG cs.SD eess.SP
LMCodec: A Low Bitrate Speech Codec With Causal Transformer Models
Google(谷歌)
我们介绍LMCodec,一种因果神经语音编解码器,以非常低的比特率提供高质量的音频。该系统的骨干是一个因果卷积编解码器,它使用残差矢量量化将音频编码成一个由粗到细的令牌层次。LMCodec训练一个Transformer语言模型,以生成的方式从粗糙的令牌中预测精细的令牌,从而允许传输更少的代码。第二个Transformer预测给定过去发送的代码的下一个代码的不确定性,并用于执行条件熵编码。进行了MUSHRA主观测试,结果表明,在更高的比特率下,质量与参考编解码器相当。示例音频可在https://mjenrungrot.github.io/chrome-media-audio-papers/publications/lmcodec上获得。
2023-03-23 cs.SD eess.AS
A Fast and Lightweight Model for Causal Audio-Visual Speech Separation
School of Computer Technology and Application(计算机技术与应用学院);Intelligent Computing and Application Laboratory of Qinghai Province(青海省智能计算与应用实验室);Department of Computer Science and Technology(计算机科学与技术系);Institute for AI(人工智能研究院);Tsinghua Laboratory of Brain and Intelligence (THBI)(清华大学脑与智能实验室);IDG/McGovern Institute for Brain Research(IDG/麦克戈维脑研究学院);Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究院)
针对现有音视频语音分离模型架构复杂且依赖未来上下文、不适于实时应用的问题,本文提出流式因果模型Swift-Net,采用轻量视觉模块、高效融合模块和分组SRU,并在三个基准数据集上验证了其卓越性能。
2025-10-14 cs.SD eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
基于注意力的端到端自动语音识别(ASR)系统最近已经展示了用于许多任务的最先进的结果。然而,自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性,其中每个单词必须在说出后不久被识别。在这项工作中,我们提出了双重因果/非因果自我注意力(DCN)架构,与限制自我注意力相比,它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较,示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果,同时提供了帧同步处理的优点。结合触发注意力,所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
Speech World Model: Causal State-Action Planning with Explicit Reasoning for Speech
Zhejiang University(浙江大学);UC Berkeley(加州大学伯克利分校)
研究旨在改进语音语言模型推理弱的问题,采用模块化视角和世界模型观点,将语音理解分解为四个模块通过因果图通信,建立认知状态搜索空间,实现显式推理,让语音理解更透明可控。
2026-07-14 eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research(三星研究院)
针对端侧ASR的低延迟需求,本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型,实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Streaming Transformer Transducer Based Speech Recognition Using Non-Causal Convolution
Facebook AI(Facebook 人工智能研究院)
本文利用非因果卷积改进了用于语音识别的流式Transformer变换器。许多工作应用因果卷积来改进流Transformer,忽略了前视上下文。我们建议使用非因果卷积来分别处理中心块和前瞻上下文。该方法利用卷积中的前瞻上下文,并保持类似的训练和解码效率。给定类似的延迟,使用具有前瞻上下文的非因果卷积给出比因果卷积更好的准确性,特别是对于开放域听写场景。此外,本文采用了说话人注意力和一种新的历史上下文压缩方案,以进一步提高性能。说话头注意通过在不同头之间传递信息来改善多个头的自注意。历史上下文压缩方法引入了更多的扩展历史上下文压缩。在我们的内部数据上,所提出的方法在开放域听写、辅助通用场景和辅助调用场景上分别提高了具有前瞻上下文的小Emformer基线的相对WRR 5.1\%、14.5\%、8.4\%。
2021-10-07 cs.CL cs.LG eess.AS
Causal Self-supervised Pretrained Frontend with Predictive Code for Speech Separation
本文提出一种因果自监督预训练前端,通过自回归混合预测和上下文知识蒸馏代理任务将未来信息隐式纳入因果模型,有效缓解了实时流式语音分离中因缺乏未来上下文导致的性能下降。
2025-04-03 cs.LG cs.SD eess.AS
Non-Causal to Causal SSL-Supported Transfer Learning: Towards a High-Performance Low-Latency Speech Vocoder
本文提出一种基于师生蒸馏与自监督表示对齐的非因果到因果迁移学习方案,使低延迟因果 BigVGAN 声码器在极小复杂度增加下性能超越原始高延迟非因果模型。
2024-08-26 eess.AS
GM-TCNet: Gated Multi-scale Temporal Convolutional Network using Emotion Causality for Speech Emotion Recognition
Xiamen University(厦门大学);Fudan University(复旦大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Fujian University of Technology(福建理工大学)
在人机交互中,语音情感识别(SER)在理解用户意图和改善交互体验方面起着至关重要的作用。虽然相似的情感演讲具有不同的扬声器特征,但具有共同的前因和后果,SER的一个重要挑战是如何通过演讲情感之间的因果关系产生鲁棒的和有区别的表示。在本文中,我们提出了一个门控多尺度时间卷积网络(GM-TCNet)构建一个新的情感因果关系表示学习组件与多尺度感受野。GM-TCNet部署了一种新的情感因果关系表示学习组件来捕获跨时域的情感动态,该组件由扩张的因果卷积层和门控机制构建。此外,它利用跳跃连接融合来自不同门控卷积块的高级特征来捕获人类语音中丰富而微妙的情感变化。GM-TCNet首先使用单一类型的特征,即梅尔频率倒谱系数作为输入,然后将其通过门控时间卷积模块以生成高级特征。最后,特征被馈送到情感分类器以完成SER任务。实验结果表明,我们的模型在大多数情况下保持最高的性能相比,国家的最先进的技术。
2022-10-28 cs.AI cs.HC cs.SD
Towards Real-Time Single-Channel Speech Separation in Noisy and Reverberant Environments
McGill University(麦吉尔大学);CIRMMT(跨学科音乐媒体与技术中心);Microsoft Research(微软研究院)
本文提出一种低复杂度、资源高效的因果DNN级联架构,依次完成噪声抑制、分离和去混响,实现嘈杂混响环境下两个及以上说话人的实时单通道语音分离,性能可与大型离线模型SepFormer相媲美。
2023-04-17 cs.SD eess.AS
StreamWSR: Streamable and Lightweight Waveform-Domain Neural Speech Super-Resolution
blind National Engineering Research Center of Speech;Language Information Processing, University of Science
本文提出StreamWSR这一可流式轻量波形域语音超分辨率模型,通过因果架构实现零前瞻流式推理,在16 kHz语音超分辨率任务上,以9M参数、2G FLOPs达到优于或相当的语音质量与可懂度。
2026-09-04 eess.AS
Tight Boundary Prediction in Speaker Diarization Using Causal-Anticausal Consistency
NTT, Inc., Japan(日本NTT公司)
针对松标注训练导致预测边界松散的问题,提出利用因果与反因果模型生成紧伪标签,并通过协同训练迭代优化,恢复约70%的紧标签训练效果并提升下游性能。
2026-06-11 cs.SD eess.AS