End-to-End Model for Speech Enhancement by Consistent Spectrogram Masking
Shanghai University(上海大学);Northwestern Polytechnical University(西北工业大学)
近年来,相位处理在语音增强领域引起了越来越多的关注.一些研究者通过使用基于复值短时傅里叶变换(STFT)谱图的训练目标(例如复比率掩码(cRM))将相位估计模块集成到语音增强模型中[1]。然而,对声谱图进行掩蔽会违反一致性约束。在这项工作中,我们证明了不一致的问题扩大了语音增强模型的解决方案空间,并导致意外的文物。提出了一种基于一致性谱图掩模(CSM)的复杂谱图估计方法,该方法简单而有效。实验结果表明,CSM方法加快了模型的训练速度,提高了语音质量。从我们的实验结果,我们保证我们的方法可以提高
2019-01-02 cs.AI cs.MM cs.SD
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering(军事工程学院)
本文提出了一种新的盲声掩模(BAM)设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息,以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外,该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法,理想的二进制掩码(IBM),目标二进制掩码(TBM),和非平稳噪声估计语音增强(NNESE),考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比(SNR)进行评估。结果表明,BAM技术实现可懂度增益与理想的面具,同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
A Mask Free Neural Network for Monaural Speech Enhancement
Unisound AI Technology Co. Ltd(云知声人工智能科技有限公司);University of Science and Technology of China(中国科学技术大学)
针对单通道语音增强中相位结构缺失导致直接简单网络性能受限的问题,提出堆叠 GLFB 的 MFNet,同时映射语音与反向噪声,在无混响 DNS 2020 测试集上达到 SOTA。
2023-06-07 cs.AI cs.SD eess.AS
Multichannel Loss Function for Supervised Speech Source Separation by Mask-based Beamforming
LINE Corporation(LINE公司)
在本文中,我们提出了两种基于掩模的波束形成方法,使用由多通道损失函数训练的深度神经网络(DNN)。使用由DNN估计的时频(TF)掩模的波束成形技术已经应用于TF掩模用于估计空间协方差矩阵的许多应用。为了训练用于基于掩码的波束成形的DNN,已经采用了为单声道语音增强/分离设计的损失函数。虽然这样的训练标准是简单的,但它并不直接对应于基于掩模的波束成形的性能。为了克服这个问题,我们使用多通道损失函数评估估计的空间协方差矩阵的基础上,多通道板仓斋藤分歧。由多通道损失函数训练的DNN可以被应用于构造多个波束形成器。实验结果证实了它们的有效性和鲁棒性麦克风配置。
2019-07-11 cs.SD eess.AS
Residual Tokens Enhance Masked Autoencoders for Speech Modeling
Inria at Univ. Grenoble Alpes, CNRS, LJK, France(Inria 与格勒诺布尔阿尔卑斯大学、CNRS、LJK 在法国)
RT-MAE通过引入残差可训练标记提升语音建模,增强语音重建质量与表达性,并适用于噪声抑制任务。
2026-01-27 cs.AI cs.SD
Components Loss for Neural Networks in Mask-Based Speech Enhancement
Institute for Communications Technology, Technische Universität Braunschweig(布伦瑞克工业大学通信技术研究所)
使用深度学习方法估计用于单通道语音增强的时频域掩模最近已成为一个热门的研究领域,并取得了可喜的成果。在本文中,我们提出了一种新的成分损失(CL)的神经网络的训练基于掩码的语音增强。在训练过程中,所提出的CL提供单独的控制保留的语音分量的质量,抑制的残留噪声分量,并保留一个自然的声音残留噪声分量。我们说明了潜在的建议CL通过评估一个标准的卷积神经网络(CNN)基于掩码的语音增强。新的CL获得了更好的和更平衡的性能,在几乎所有采用的仪器质量指标超过基线损失,后者包括传统的均方误差(MSE)的损失,也与语音相关的损失功能,如语音质量的感知评估(PESQ)损失和最近提出的感知加权滤波器损失。特别地,应用CL提供了更好的语音分量质量、更好的整体增强的语音感知质量以及听起来更自然的残余噪声。平均而言,对于所见的噪声类型,在增强语音上获得至少0.1点更高的PESQ分数,同时还获得超过0.5dB的更高SNR改善。这种改进对于看不见的噪声类型更强,其中获得了增强语音的约0.2点高的PESQ分数,同时输出SNR也领先超过0.5 dB。新提出的CL易于实现,代码可在https://github.com/ifnspaml/Components-Loss上提供。
2019-08-14 cs.SD eess.AS
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology(格拉茨技术大学);Ruperts Karls University(海德堡大学)
虽然机器学习技术传统上是资源密集型的,但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中,我们提供了一种基于深度神经网络(DNN)的多通道语音增强的资源高效方法。特别是,我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应(MVDR)或广义特征值(GEV)波束形成器。在二进制权重和精度降低的激活的极端情况下,可以显著减少执行时间和内存占用,同时仍然获得几乎与单精度DNN相当的音频质量,并且使用WSJ0语音语料库的单个说话者场景的字错误率(WER)略高。
2020-07-22 cs.LG cs.SD eess.AS
Spectral Masking with Explicit Time-Context Windowing for Neural Network-Based Monaural Speech Enhancement
Eindhoven University of Technology(埃因霍温理工大学);NXP Semiconductors(恩智浦半导体)
提出一种显式时间上下文加窗方法,通过在神经网络输入输出端结合多上下文估计改善软掩蔽过程,无需额外训练且参数增加不到1%,有效提升了去噪语音的可懂度与质量。
2024-08-28 cs.SD eess.AS
Deep Interaction between Masking and Mapping Targets for Single-Channel Speech Enhancement
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
最新的深度神经网络(DNN)模型在时频(T-F)幅度域中表现出令人印象深刻的去噪性能。然而,相位也是语音信号中容易被忽视的关键成分。在本文中,我们提出了一个多分支扩张卷积网络(DCN),同时增强噪声语音的幅度和相位。基于复谱和理想比率模板目标的多目标学习框架,实现了一种因果性和鲁棒性的单耳语音增强系统。在联合学习过程中,将目标间的中间估计作为特征注意因子的生成方式,实现两个目标间的信息交互。此外,所提出的多尺度扩张卷积使DCN模型具有更有效的时间建模能力。实验结果表明,与现有的语音识别模型相比,该模型具有更好的语音质量和可懂度,且计算量更小。
2021-06-09 cs.SD eess.AS
BLOOM-Net: Blockwise Optimization for Masking Networks Toward Scalable and Efficient Speech Enhancement
Indiana University(印第安纳大学)
在本文中,我们提出了一个基于掩蔽网络(BLOOM-Net)的分块优化方法,用于训练可扩展的语音增强网络。在这里,我们使用残差学习方案设计我们的网络,并按顺序训练内部分离器块,以获得用于语音增强的可扩展的基于掩蔽的深度神经网络。它的可伸缩性允许它根据测试时环境动态调整运行时复杂度。为此,我们模块化我们的模型,因为它们可以灵活地适应不同的需求,增强性能和资源的约束,产生最小的内存或训练开销,由于增加的可扩展性。我们对语音增强的实验表明,所提出的分块优化方法实现了所需的可扩展性,只有轻微的性能下降相比,相应的模型训练端到端。
2022-02-10 cs.LG cs.SD eess.AS
Deep Active Speech Cancellation with Mamba-Masking Network
Blavatnik School of Computer Science Tel Aviv University(塔尔医学院计算机科学学院);School of Electrical and Computer Engineering Ben-Gurion University of the Negev(本·古里安大学电气与计算机工程学院)
提出Mamba-Masking网络用于主动语音消除,通过掩蔽机制和多频段分割实现精确反向信号生成,在ANC和ASC上分别提升7.2dB和6.2dB。
2025-05-25 cs.AI cs.LG cs.SD
D2Former: A Fully Complex Dual-Path Dual-Decoder Conformer Network using Joint Complex Masking and Complex Spectral Mapping for Monaural Speech Enhancement
Alibaba Group(阿里巴巴集团)
单声道语音增强已被广泛研究,使用真正的网络在时间-频率(TF)域。然而,输入和目标在TF域中自然是复值的,完全复杂的网络对于有效地学习特征表示和在复域中对序列建模是非常理想的。此外,相位,语音的感知质量的一个重要因素,已被证明是可学习的一起从噪声语音使用复杂的掩蔽或复杂的频谱映射的幅度。最近的许多研究集中在复掩蔽或复光谱映射,忽略了它们的性能边界。为了解决上述问题,我们提出了一个完全复杂的双路径双解码器构象网络(D2 Former)使用联合复掩蔽和复频谱映射单声道语音增强。在D2 Former中,我们将构象网络扩展到复域,形成了一个双路径复TF自注意体系结构,用于有效地对复值TF序列进行建模。我们进一步提高TF特征表示的编码器和解码器使用双路径学习结构,利用复杂的扩张卷积的时间依赖性和复杂的前馈顺序记忆网络(CFSMN)的频率递归。此外,我们通过将两个训练目标的优势结合到联合学习框架中来提高复掩蔽和复谱映射的性能边界。因此,D2 Former充分利用了复值运算、双路径处理和联合训练目标。与以前的模型相比,D2 Former在VoiceBank+Demand基准测试中获得了最先进的结果,模型尺寸最小,仅为0.87 M参数。
2023-02-23 cs.SD eess.AS
Differentiable Consistency Constraints for Improved Deep Speech Enhancement
Google Research(谷歌研究院)
近年来,深度网络通过将语音增强视为数据驱动的模式识别问题,使语音增强得到了显著改善。在许多现代增强系统中,大量数据用于训练深度网络以估计复值短时傅立叶变换(STFT)的掩模,从而抑制噪声并保留语音。然而,目前的掩蔽方法往往忽略了两个重要的约束:STFT一致性和混合一致性。在没有STFT一致性的情况下,系统的输出不一定是时域信号的STFT,并且在没有混合一致性的情况下,估计的源的总和不一定等于输入混合。此外,之前唯一应用混合一致性的方法使用实值掩码;对于复值掩码,混合一致性已被忽略。在本文中,我们表明,STFT的一致性和混合一致性,可以联合施加通过添加简单的可微投影层的增强网络。这些层与实值或复值掩码兼容。使用这两个约束条件与复值掩码提供了一个0.7 dB的增加,在一个大的语音数据集上的尺度不变的信号失真比(SI-SDR)损坏的各种各样的非平稳噪声在一个范围内的输入SNR。
2018-11-20 cs.SD eess.AS
Improved MVDR Beamforming Using LSTM Speech Models to Clean Spatial Clustering Masks
The Graduate Center, City University of New York(纽约市立大学研究生中心);Brooklyn College, City University of New York(纽约市立大学布鲁克林学院)
空间聚类技术可以在相对任意的麦克风配置上实现显著的多通道降噪,但难以结合详细的语音/噪声模型。相比之下,LSTM神经网络已经成功地被训练成在单通道输入上从噪声中识别语音,但很难充分利用多通道记录中的信息。本文结合这两种方法,训练LSTM语音模型来清理基于模型的EM声源分离和定位(MESSL)空间聚类方法生成的掩码。通过这样做,它既获得了多通道空间聚类的空间分离性能和通用性,又获得了多个并行单通道LSTM语音增强器的信号建模性能。我们的实验表明,当我们的系统被应用到CHiME-3数据集的嘈杂的平板电脑录音,它提高了语音质量的感知评价语音质量(PESQ)算法测量,并降低了字出错率的基线CHiME-3语音识别器,相比默认的BeamformIt波束形成器。
2020-12-02 cs.LG cs.SD eess.AS
Self-Supervised Learning based Monaural Speech Enhancement with Multi-Task Pre-Training
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
在自监督学习中,如何利用已有的预处理任务来减小对估计语音信号和目标语音信号的增强效果之间的差距是一个具有挑战性的问题。在本文中,我们提出了一个多任务的预训练方法,以提高语音增强性能的自监督学习。在预训练自动编码器(PAE)中,仅需要有限的干净语音信号集合来学习它们的潜在表示。同时,为了解决单个预处理任务的局限性,本文提出的掩蔽模块利用去混响掩模和估计比率掩模作为第二预处理任务对混合噪声进行去噪。与PAE不同,在PAE中,目标语音信号被估计,下游任务自动编码器(DAE)利用大量未标记的和看不见的混响混合物来生成估计的混合物。经过训练的DAE由学习的表示和掩码共享。基准数据集上的实验结果表明,该方法优于国家的最先进的方法。
2021-12-21 cs.SD eess.AS
Speech denoising by parametric resynthesis
The CUNY Graduate Center(纽约市立大学研究生中心);Brooklyn College(布鲁克林学院)
这项工作提出了使用干净的语音声码器参数作为目标的神经网络执行语音增强。这些参数已经被设计用于文本到语音合成,使得它们都产生高质量的再合成,并且还可以直接用神经网络建模,但是直到现在还没有被用于语音增强。与匹配的文本到语音系统相比,该系统给出了嘈杂语音的地面真实成绩单,我们的模型能够产生更自然的语音,因为它可以访问嘈杂语音中的真实韵律。在比较两个去噪系统,甲骨文维纳面具和基于DNN的面具预测器,我们的模型等于甲骨文维纳面具的主观质量和可懂度,并超越了现实的系统。一个基于声码器的上限表明,这种方法仍然有改进的空间,超越了甲骨文维纳掩码。我们用两个扬声器测试扬声器依赖性,并表明单个模型可用于多个扬声器。
2019-04-02 cs.LG cs.SD eess.AS
Kernel Machines Beat Deep Neural Networks on Mask-based Single-channel Speech Enhancement
The Ohio State University(俄亥俄州立大学)
本文提出了一种快速核方法用于基于掩码的单通道语音增强。具体来说,我们的方法解决了一个核回归问题与非光滑核函数(指数幂核)与高效的迭代法(EigenPro)。由于该方法简单,其超参数,如核带宽可以自动和有效地选择使用线搜索的训练数据的子样本。我们观察到的回归损失(均方误差)和语音增强的常规指标之间的经验相关性。这一观察结果证明了我们的训练目标是正确的,并激励我们通过训练每个频率子带的独立核模型来实现更低的回归损失。我们将我们的方法与基于掩模的HINT和TIMIT的最先进的深度神经网络进行了比较。实验结果表明,我们的核方法始终优于深度神经网络,同时需要更少的训练时间。
2018-11-06 cs.LG cs.SD eess.AS
Deep speech inpainting of time-frequency masks
Logitech Europe S.A.(罗技欧洲公司);Imperial College London(帝国理工学院);Swiss Federal Institute of Technology Lausanne(洛桑瑞士联邦理工学院)
瞬时大声入侵,经常发生在嘈杂的环境中,可以完全压倒语音信号,并导致不可避免的信息丢失。虽然现有的噪声抑制算法可以产生令人印象深刻的结果,但它们的功效对于非常低的信噪比或当部分信号丢失时仍然有限。为了解决这些局限性,在这里,我们提出了一个端到端的语音修复框架,基于上下文的检索丢失或严重失真的语音时频表示部分。该框架基于通过深度特征损失训练的卷积U-Net,使用speechVGG获得,speechVGG是一种在辅助词分类任务上预训练的深度语音特征提取器。我们的评估结果表明,该框架可以恢复大部分丢失或失真的语音时频表示,高达400 ms和3.2 kHz的带宽。特别是,我们的方法提供了一个显着增加的初始损坏的语音样本的STOI & PESQ客观指标。值得注意的是,与传统方法相比,使用深度特征损失来训练框架导致最佳结果。
2020-08-29 cs.CL cs.SD eess.AS
Feature Learning and Ensemble Pre-Tasks Based Self-Supervised Speech Denoising and Dereverberation
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
自监督学习(SSL)在单声道语音增强中取得了巨大的成功,但在现有的预处理任务下,目标语音估计的准确性,特别是对未看见的说话人的准确性仍然不足。由于语音信号包含说话人身份、语言特征和说话内容等多方面信息,因此语音增强的潜在表征成为一项艰巨的任务。在本文中,我们研究了语音增强中常用的每个特征的有效性,并在SSL的情况下开发了特征组合。此外,我们还提出了一种集成训练策略。该算法学习纯净语音信号的潜在表示,同时利用去混响模板和估计比率模板对混合语音信号进行去噪和去混响。潜在表示学习和模板估计被认为是训练阶段的两个前任务。此外,为了研究预任务之间的有效性,我们比较了不同的训练例程来训练模型并进一步改进性能。NOISEX和DAPS语料库被用来评估所提出的方法的有效性,这也优于国家的最先进的方法。
2022-06-10 cs.SD eess.AS
Refining DNN-based Mask Estimation using CGMM-based EM Algorithm for Multi-channel Noise Reduction
AGH University of Science and Technology(AGH科技大学)
本文提出一种基于迭代CGMM算法和最优空间滤波的多通道细化方法,用于改善单通道DNN估计的时频掩码,并在DCUnet、DCCRN和FullSubNet上验证了其在AUC和PESQ指标上的一致提升。
2023-09-18 cs.SD eess.AS
TSTNN: Two-stage Transformer based Neural Network for Speech Enhancement in the Time Domain
Concordia University(康考迪亚大学)
在本文中,我们提出了一种基于变换的架构,称为两级Transformer神经网络(TSTNN)的端到端的语音去噪在时域。该模型由编码器、两级Transformer模块(TSTM)、掩蔽模块和解码器组成。编码器将输入的噪声语音映射为特征表示。TSTM利用四个堆叠的两级Transformer块来逐级有效地从编码器输出中提取局部和全局信息。掩码模块创建将与编码器输出相乘的掩码。最后,解码器使用掩蔽的编码器特征来重建增强的语音。在基准数据集上的实验结果表明,TSTNN在时域或频域上优于大多数最先进的模型,同时具有显着降低的模型复杂度。
2021-03-18 cs.LG cs.SD eess.AS
DF-Conformer: Integrated architecture of Conv-TasNet and Conformer using linear complexity self-attention for speech enhancement
Google Research(谷歌研究院)
单通道语音增强(SE)是语音处理中的一个重要课题。广泛使用的框架将分析/合成滤波器组与掩模预测网络相结合,例如Conv-TasNet架构。在这样的系统中,去噪性能和计算效率主要受掩模预测网络的结构影响。在这项研究中,我们的目标是通过将Conformer层集成到一个新的掩模预测网络中来提高Conv-TasNet架构的顺序建模能力。为了使模型在计算上可行,我们使用线性复杂性注意力和堆叠的1-D扩张的dependency卷积层来扩展Conformer。我们在3,396小时的噪声语音数据上训练了该模型,并表明(i)使用线性复杂度注意避免了高计算复杂度,(ii)我们的模型比改进的时间扩张卷积网络(TDCN++)(Conv-TasNet的扩展版本)实现了更高的尺度不变信噪比。
2021-08-05 cs.SD eess.AS
SkipConvGAN: Monaural Speech Dereverberation using Generative Adversarial Networks via Complex Time-Frequency Masking
University of Texas at Dallas(德克萨斯大学达拉斯分校)
随着深度学习方法的进步,语音增强系统在存在背景噪声的情况下的性能已经显示出显着的改善。然而,提高系统对混响的鲁棒性仍然是一项正在进行的工作,因为混响往往会由于时间和频率上的拖尾效应而导致共振峰结构的损失。各种基于深度学习的系统要么增强幅度响应并重新使用失真相位,要么使用复杂的时频掩模增强复杂的频谱图。虽然这些方法已经证明了令人满意的性能,但它们不能直接解决由混响引起的共振峰结构丢失。我们相信,共振峰结构的检索可以帮助提高现有系统的效率。在这项研究中,我们提出了SkipConvGAN-我们以前的工作SkipConvNet的扩展。所提出的系统的发电机网络试图估计一个有效的复杂的时间-频率掩模,而在驱动发电机恢复丢失的共振峰结构的ESTA网络的援助。我们评估我们提出的系统的性能,从单通道任务的REVERB挑战语料库的混响语音的模拟和真实录音。与其他基于深度学习的生成对抗框架相比,该系统在多个房间配置中表现出一致的改进。
2022-11-22 cs.LG cs.SD eess.AS
New insights on the optimality of parameterized wiener filters for speech enhancement applications
Federal University of Santa Catarina(圣卡塔琳娜联邦大学);Wavetech ST(Wavetech ST公司)
这项工作提出了一个统一的框架,定义了一个家庭的降噪技术的语音增强应用。所提出的方法为一些广泛应用的软和硬时频掩模提供了独特的理论基础,其中包括著名的维纳滤波器和精确设计的二进制掩模。这些技术现在可以被认为是相同的最小化问题的最佳解决方案。所提出的代价函数由两个设计参数定义,这两个设计参数不仅在降噪和语音失真之间建立了所需的权衡,而且还提供了与掩模形态的深刻关系。这样的特性对于需要根据声学场景的变化在线适配抑制函数的应用可能是有用的。仿真实例表明,推导出的一致性抑制掩模具有近似相同的质量和可懂度性能的经典的几何定义的参数维纳滤波器的能力。所提出的方法可能是特别感兴趣的实时嵌入式语音增强应用,如助听器和人工耳蜗植入。
2018-09-19 cs.SD eess.AS eess.SP
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AWS AI Labs(亚马逊人工智能实验室)
本文提出了一种基于掩码自动编码器的通用语音增强器,通过自监督学习处理多种失真,实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
Speech enhancement with mixture-of-deep-experts with clean clustering pre-training
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
在这项研究中,我们提出了一种用于单麦克风语音增强的深度专家(ModE)神经网络架构。我们的架构包括一组深度神经网络(DNN),每个网络都是不同语音频谱模式(如音素)的“专家”。门控DNN负责潜变量,这些潜变量是分配给给定语音片段的每个专家输出的权重。专家从噪声输入估计掩码,然后获得最终掩码作为专家估计的加权平均,其中权重由门控DNN确定。然后基于估计的掩模应用软频谱衰减来增强有噪语音信号。作为副产品,我们在测试时间的复杂性获得减少。我们表明,专家专业化可以更好地鲁棒性不熟悉的噪声类型。
2021-02-11 cs.LG cs.SD eess.AS
Multi-Objective Learning and Mask-Based Post-Processing for Deep Neural Network Based Speech Enhancement
Georgia Tech(佐治亚理工学院)
我们提出了一个多目标的框架来学习两个次要目标不直接相关的预期任务的语音增强(SE)和清洁的对数功率谱(LPS)功能的主要目标直接用于构建增强的语音信号。在基于SE的深度神经网络(DNN)中,我们引入了一个辅助结构来学习二级连续特征(如梅尔频率倒谱系数(MFCC))和分类信息(如理想二进制掩码(IBM)),并将其集成到原始DNN架构中,以联合优化所有参数。这种联合估计方案施加了在LPS的直接预测中不可用的附加约束,并且潜在地改善了对主要目标的学习。此外,作为副产品的所学习的次要信息可以用于其他目的,例如,基于IBM的后处理在这项工作中。实验结果表明,LPS和MFCC联合学习提高了SE性能,基于IBM的后处理进一步提高了重建语音的听音质量。
2017-03-21 cs.SD
An automatic mixing speech enhancement system for multi-track audio
Queen Mary University of London(伦敦玛丽女王大学)
本文提出一种基于ITU-R BS.1387 PEAQ模型和迭代Harmony搜索算法的多轨音频自动混音语音增强系统,通过优化电平、均衡、压缩和空间化等效果最小化听觉掩蔽,主观测试表明其混音质量可媲美专业工程师并优于现有自动混音系统。
2024-10-18 cs.MM cs.SD eess.AS
From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks
GN Hearing(GN听力);Technical University of Denmark (DTU)(丹麦技术大学)
本文研究通过动态剪枝掩码估计语音增强网络中的信号属性,提出无需额外模型的高效方法,实现VAD、噪声分类和F0估计的高准确率。
2026-02-11 cs.LG cs.SD eess.AS
Face Landmark-based Speaker-Independent Audio-Visual Speech Enhancement in Multi-Talker Environments
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);Istituto Italiano di Tecnologia(意大利理工学院)
在本文中,我们解决的问题,增强感兴趣的演讲者在鸡尾酒会的情况下,当感兴趣的演讲者的视觉信息是可用的。与大多数以前的研究相反,我们没有在通常较小的视听数据集上学习视觉特征,而是使用已经可用的人脸地标检测器(在单独的图像数据集上训练)。基于LSTM的模型使用地标来生成应用于声学混合语音谱图的时频掩模。结果表明:(i)界标运动特征对于该任务是非常有效的特征,(ii)类似于先前的工作,通过掩蔽介导的目标说话者的声谱图的重建比直接声谱图重建明显更准确,以及(iii)最佳掩模取决于运动界标特征和输入混合语音声谱图两者。据我们所知,我们提出的模型是第一个在有限大小的GRID和TCD-TIMIT数据集上训练和评估的模型,它在多说话者环境中实现了与说话者无关的语音增强。
2019-05-02 cs.CL cs.LG cs.SD
Feature Trajectory Dynamic Time Warping for Clustering of Speech Segments
University of Stellenbosch(斯泰伦博斯大学)
动态时间规整(DTW)可以用于计算通常不同长度的两个序列之间的相似性。我们提出了一个修改DTW,执行个人和独立的成对对齐的特征轨迹。修改后的技术,称为特征轨迹动态时间规整(FTDTW),适用于作为一个相似性度量的凝聚层次聚类的语音段。实验使用MFCC和PLP parametrisations提取TIMIT和阿拉伯语数字口语数据集(SADD)的F-措施和归一化互信息(NMI)的质量得到的集群一致和统计上显着的改善。
2018-10-30 cs.LG cs.SD eess.AS
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping
Ghent University(根特大学);imec(比利时微电子研究中心)
已知自动语音识别(ASR)系统在转录儿童的语音时表现出困难。这可以主要归因于缺乏大型儿童语音语料库来训练鲁棒的ASR模型,以及当用在成人数据上训练的系统解码儿童语音时产生的域失配。在本文中,我们提出了多项增强功能来缓解这些问题。首先,我们提出了一种基于语音源过滤器模型的数据增强技术,以缩小成人和儿童语音之间的领域差距。这使我们能够利用成人语音语料库的数据可用性,使这些样本在感知上类似于儿童的语音。其次,使用这种增强策略,我们将迁移学习应用于在成人数据上预训练的Transformer模型。该模型遵循最近推出的XLS-R架构,这是一个在几个跨语言成人语音语料库上进行预训练的wav 2 vec 2.0模型,用于学习通用和鲁棒的声学帧级表示。采用此模型的ASR任务,使用成人数据增强与建议的源过滤器翘曲策略和有限数量的域中儿童的语音显着优于以前的国家的最先进的结果PF-STAR英国英语儿童语音语料库的官方测试集上的4.86% WER。
2022-06-19 cs.CL cs.SD eess.AS
Reducing one-to-many problem in Voice Conversion by equalizing the formant locations using dynamic frequency warping
Center for Spoken Language Understanding, Oregon Health \& Science University Portland, OR, USA
在这项研究中,我们研究了一种解决方案,以减少语音转换中的一对多问题的影响。当源说话人的两个非常相似的语音段在目标说话人中对应的语音段彼此不相似时,就会发生VC中的一对多问题。因此,映射器功能通常过度平滑所生成的特征,以便与两个目标语音段相似。在这项研究中,我们提出了均衡的共振峰位置的源-目标帧对使用动态频率弯曲,以降低复杂度。在转换之后,进一步应用另一动态频率弯曲以逆转训练期间共振峰位置均衡的效果。主观实验表明,该方法能显著提高语音质量。
2015-10-14 cs.SD
Non-linear frequency warping using constant-Q transformation for speech emotion recognition
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
在这项工作中,我们探讨了恒Q变换(CQT)的语音情感识别(SER)。基于CQT的时频分析提供可变的谱时间分辨率,在较低频率处具有较高的频率分辨率。由于语音信号的低频区域比高频区域包含更多的情感相关信息,CQT的低频分辨率的提高使得它比标准短时傅里叶变换(STFT)更有希望用于SER。我们提出了一种基于STFT和CQT的SER短期声学特征的比较分析,深度神经网络(DNN)作为后端分类器。我们为这两个特征优化了不同的参数。基于CQT的特征优于基于STFT的光谱特征用于SER实验。进一步的跨语料评估实验表明,基于CQT的系统提供了更好的泛化与域外训练数据。
2021-02-08 cs.LG cs.SD eess.AS
Leveraging Phone Mask Training for Phonetic-Reduction-Robust E2E Uyghur Speech Recognition
Xinjiang University(新疆大学);Tencent Minority-Mandarin Translation(腾讯少数民族-普通话翻译部门)
维吾尔语语音中经常会遇到辅音和元音的压缩,特别是在高速率的自发语音中,这会导致语音识别性能的下降。针对这一问题,本文提出了一种有效的音素模板训练方法,用于基于Conformer的维吾尔语端到端(E2 E)语音识别。其思想是在模型训练过程中随机屏蔽一定比例的手机特征,模拟上述言语现象,便于E2 E模型学习更多的上下文信息。根据实验,上述问题可以大大缓解。此外,对不同的掩蔽单元进行了深入的研究,这表明了我们提出的掩蔽单元的有效性。本文还进一步研究了手机蒙版的遮盖方法和优化填充策略。最后,与没有模板训练的基于Conformer的E2 E基线相比,我们的模型在阅读语音和自发语音上分别表现出约5.51%和12.92%的相对字出错率(WER)降低。在开放源数据THUYG-20的测试集上验证了上述方法,结果显示相对于传统方法有20%的改进。
2022-04-02 cs.SD eess.AS
MaskedSpeech: Context-aware Speech Synthesis with Masking Strategy
JD Technology Group(京东科技集团)
本文提出上下文感知语音合成系统MaskedSpeech,通过掩码策略结合上下文语义与声学特征重建被掩蔽声学特征,显著提升了段落级语音的自然度与表现力。
2023-05-18 cs.SD eess.AS
Audio Adversarial Examples: Attacks Using Vocal Masks
我们在自动语音到文本系统上构建音频对抗示例。给定任何音频波形,我们通过覆盖从原始音频生成的音频声掩模来产生另一个。我们将我们的音频对抗攻击应用于五个SOTA STT系统:DeepSpeech,Julius,Kaldi,wav2letter@anywhere和CMUSphinx。此外,我们还聘请了人类注释者来转录对抗性音频。我们的实验表明,这些对抗性的例子欺骗了最先进的语音到文本系统,但人类能够始终如一地挑选出语音。这种攻击的可行性为研究机器和人类对语音的感知引入了一个新的领域。
2021-02-06 cs.AI cs.SD eess.AS
Acoustic effects of medical, cloth, and transparent face masks on speech signals
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
戴口罩会妨碍说话,使交流更加困难,尤其是对听力损失的人。本研究使用一个头状扬声器和一个真人谈话者,研究了不同口罩(包括医用口罩、布口罩和透明口罩)引起的声衰减。结果表明,所有的面具衰减频率超过1千赫,衰减是最大的前面的谈话者,有很大的变化之间的面具类型,特别是布面具与不同的材料和编织。与医用口罩和布口罩相比,透明口罩的声学性能较差。大多数面具对翻领麦克风的影响很小,这表明现有的声音增强和辅助听力系统可能对面具的口头交流有效。
2020-08-11 cs.SD eess.AS
Classification of Speech with and without Face Mask using Acoustic Features
Department of Electrical and Computer Engineering National University of Singapore(新加坡国立大学电气与计算机工程系)
言语的理解和解释会受到各种外部因素的影响。口罩的使用就是这样一个因素,它会在交流时造成言语障碍。这可能导致语音处理的退化并影响人类的感知。知道说话者是否戴着面具可能对针对不同应用建模语音有用。有了这个动机,从给定的演讲中找出说话者是否戴着面具被列为计算副语言学评估(ComparE)2020的一项任务。我们研究了基于线性滤波器组、瞬时相位和长期信息的新的声学特征,这些特征可以捕获用于有和没有面罩的语音分类的伪影。这些声学特征与CompParE 2020的CompParE泛函、音频词袋、DeepSpectrum和auDeep特征的最新基线一起使用。这些研究揭示了声学特征的有效性,并且它们与ComparE 2020基线的得分水平融合导致测试集上73.50%的未加权平均召回率。
2020-10-08 cs.SD eess.AS
Mask scalar prediction for improving robust automatic speech recognition
Google LLC(谷歌有限责任公司)
使用基于神经网络的声学前端来提高流式自动语音识别(ASR)系统的鲁棒性是具有挑战性的,因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好,但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中,我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式,在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法:多通道增强语音和非语音噪声的存在下,和声学回声消除(AEC)。结果表明,所提出的算法一致地提高了字错误率(WER),而不需要在使用手动调整的超参数的强基线上进行任何额外的调整:在噪声条件下多通道增强高达16%,AEC高达7%。
2022-04-26 cs.SD eess.AS
Neural Spatio-Temporal Beamformer for Target Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
基于神经网络的语音分离和增强方法虽然能取得较好的客观效果,但不可避免地会产生非线性语音失真,这对自动语音识别(ASR)是有害的。另一方面,最小方差无失真响应(MVDR)波束形成器与NN预测的面具,虽然可以显着减少语音失真,具有有限的降噪能力。在本文中,我们提出了一个多抽头MVDR波束形成器与复值掩模语音分离和增强。与现有技术的基于NN掩模的MVDR波束形成器相比,除了现有技术中已经利用的麦克风间相关性之外,多抽头MVDR波束形成器还利用帧间相关性。进一步的改进包括用复值掩码替换实值掩码和复掩码NN的联合训练。对我们的多模态多通道目标语音分离和增强平台的评估表明,我们提出的多抽头MVDR波束形成器相对于现有技术提高了ASR准确性和感知语音质量。
2020-07-31 cs.SD eess.AS
CabinSep: IR-Augmented Mask-Based MVDR for Real-Time In-Car Speech Separation with Distributed Heterogeneous Arrays
Northwestern Polytechnical University(西北工业大学);Shanghai ZEEKR Blue New Energy Technology Co., Ltd.(上海ZEKR蓝新能源科技有限公司)
针对车内多说话人重叠语音导致ASR识别错误的问题,本文提出轻量级CabinSep方法,结合空间特征、推理阶段MVDR与IR数据增强,以极低计算量实现了优于SOTA模型的识别错误率降低效果。
2025-09-01 cs.AI cs.HC cs.SD
Masked Autoregressive Speech Enhancement with Continuous Neural Audio Codec Representations
CentraleSupélec(中央高等电力学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔综合理工学院);GIPSA-lab(吉普萨实验室)
该研究提出MARSE方法,利用连续NAC表示迭代解码掩码纯净语音帧,可灵活权衡语音增强性能与计算成本。
2026-09-04 cs.AI cs.SD
Beyond Token Revision: Investigating Mask-and-Replace Diffusion for Zero-Shot Text-to-Speech
KAIST(韩国科学技术院);The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
本研究通过DeMaR模型探究掩码-替换扩散训练在零样本语音合成中的收益,证明其优势源于训练侧噪声增强而非推理时修订,并在LibriTTS上取得更低词错误率。
2026-10-08 cs.SD eess.AS
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China(电子科技大学);Defense Innovation Institute, Academy of Military Sciences(国防科技创新研究院);Peking University(北京大学);High-tech Institute(高新技术研究所)
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架,结合语音增强技术,在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
Applying Speech Tempo-Derived Features, BoAW and Fisher Vectors to Detect Elderly Emotion and Speech in Surgical Masks
MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组);University of Szeged(塞格德大学)
2020年INTERSPEECH计算副语言学挑战赛(ComparE)由三个子挑战组成,其中的任务是识别老年人说话者的唤醒水平和效价,确定实际说话者是否戴着外科口罩,以及估计说话者的实际呼吸。在我们对挑战的贡献中,我们专注于老年人情绪和面具子挑战。除了利用标准或接近标准的功能,如ComparE泛函,Bag-of-Audio-Words和Fisher向量,我们利用情绪与语速(即语速)。为了利用这一点,我们使用ASR系统执行语音级识别,并从输出中提取特征,如发音节奏,语音节奏和测量停顿量的各种属性。我们还假设戴着外科口罩会让说话者感到不安,导致语速变慢和更多犹豫;因此,我们也在口罩子挑战中尝试了相同的功能。虽然这一理论并没有被面具子挑战的实验结果所证明,但在老年人情绪子挑战中,我们在开发集和交叉验证中都获得了这种特征类型的显著改善的唤醒和效价值。
2020-08-07 cs.CL cs.SD eess.AS
MAGE: A Coarse-to-Fine Speech Enhancer with Masked Generative Model
MAGE通过紧凑稳健的设计提升生成式语音增强效果,采用稀缺感知的粗到细掩码策略,结合轻量级校正模块,实现高效且高质量的语音增强,实验显示在DNS挑战和噪声LibriSpeech上取得最佳感知质量和更低的词错误率。
2026-03-13 cs.SD eess.AS
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab(字节跳动人工智能实验室)
在最近的半监督语音识别趋势中,自监督表示学习和伪标记都显示出有希望的结果。在本文中,我们提出了一种新的方法,结合他们的想法,端到端的语音识别模型。在没有任何额外损失函数的情况下,我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测,以学习强声学表示,并使训练对标签噪声具有鲁棒性。在我们的半监督实验中,该方法可以提高在伪标签上训练时的模型性能,并且在Librispeech 100小时实验中,与其他半监督方法相比,我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
Are you wearing a mask? Improving mask detection from speech using augmentation by cycle-consistent GANs
University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学)
从语音中检测一个人是否戴着口罩的任务在法医调查、外科医生或保护自己免受COVID-19等传染病感染的人之间的交流中对语音建模非常有用。在本文中,我们提出了一种新的数据增强方法从语音中检测掩码。我们的方法是基于(i)训练具有周期一致性损失的生成对抗网络(GANs)来翻译两个类别(有掩码和没有掩码)之间的未配对话语,以及(ii)使用周期一致性GANs生成新的训练话语,为每个翻译的话语分配相反的标签。原始和翻译的话语被转换成频谱图,这些频谱图作为输入提供给一组具有不同深度的ResNet神经网络。通过支持向量机(SVM)分类器将网络组合成一个整体。凭借该系统,我们参加了INTERSPEECH 2020计算副语言学挑战赛的面具子挑战赛(MSC),超过主办方提出的基线2.8%。我们的数据增强技术在私有测试集上提供了0.9%的性能提升。此外,我们表明,我们的数据增强方法比其他基线和最先进的增强方法产生更好的结果。
2020-07-25 cs.CV cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group(阿里巴巴集团)
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题,提出平滑标签蒸馏(SLD)方法,以自回归方式建模语音词元,实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training
Microsoft(微软)
近年来,在语音识别的自监督学习(SSL)中,掩蔽预测预训练取得了显著的进展。它通常需要以无监督的方式获得的码本,这使得它不太准确并且难以解释。我们提出了两种监督引导的码本生成方法,以提高自动语音识别(ASR)的性能和预训练效率,通过解码与混合ASR系统生成音素级对齐(命名为PBERT),或执行从端到端的CTC模型(命名为CTC聚类)提取的监督语音特征上。混合模型和CTC模型都是在与微调中使用的相同的少量标记语音上训练的。实验表明,我们的方法具有显着的优越性,各种SSL和自我训练基线,高达17.0%的相对WER减少。我们的预训练模型在非ASR语音任务中也表现出良好的可转移性。
2022-06-21 cs.CL cs.SD eess.AS
CampNet: Context-Aware Mask Prediction for End-to-End Text-Based Speech Editing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于文本的语音编辑器允许通过直观的剪切、复制和粘贴操作来编辑语音,以加快编辑语音的过程。然而,当前系统的主要缺点是,由于剪切-复制-粘贴操作,编辑后的语音通常听起来不自然。此外,如何根据一个没有出现在成绩单中的新词来合成记录也不明显。本文提出了一种新的端到端的基于文本的语音编辑方法,称为上下文感知掩码预测网络(CampNet)。该模型通过随机掩蔽部分语音,然后通过感知语音上下文来预测掩蔽区域,从而模拟基于文本的语音编辑过程。它可以解决编辑区域中的不自然韵律,并合成与转录本中未见过的单词相对应的语音。其次,针对基于文本的语音编辑的可能操作,设计了基于CampNet的三种基于文本的操作:删除、插入和替换。这些操作可以涵盖语音编辑的各种情况。第三,针对长文本插入和替换时的语音合成问题,提出了一种词级自回归生成方法。第四,提出了一种基于CampNet的单句说话人自适应方法,并探索了基于CampNet的少样本学习能力,为语音伪造任务提供了新的思路。在VCTK和LibriTTS数据集上进行的主观和客观实验表明,基于CampNet的语音编辑效果优于TTS技术、人工编辑和VoCo方法。我们还进行了详细的烧蚀实验,以探讨其性能的CampNet结构的影响。实验结果表明,单句话的说话人自适应可以进一步提高语音的自然度。生成的语音的示例可以在https://hairuo55.github.io/CampN…
2022-03-22 cs.CL cs.SD eess.AS
Spectral-change enhancement with prior SNR for the hearing impaired
Peking University(北京大学);Sonova(索诺瓦公司)
以前的信号处理算法,旨在提高频谱变化(SCE)随着时间的推移,听力受损(HI)的听众识别语音在背景噪声中的好处。在这项工作中,以前的SCE被操纵,以执行目标占主导地位的部分,而不是平等地对待所有帧。计算瞬时信噪比(SNR)以确定是否应处理这些片段。首先,通过预混信号的知识计算理想的SNR被引入到先前的SCE算法(SCE-iSNR)。分别在稳态语音频谱噪声(SSN)和六声语音(STS)掩蔽下测量了12名HI听众的语音清晰度(SI)和清晰度偏好。实验结果表明,SCE-iSNR算法对高信噪比下的掩蔽音和低信噪比下的STS掩蔽音均能显著提高语音质量,但对语音质量的影响较小。其次,使用从实际混合物获得的估计SNR,从而产生另一SCE-eSNR。对7名HI受试者进行了SI和自然度及语音质量主观评分。SCE-eSNR算法显示,SSN掩蔽器在高SMR下和STS掩蔽器在低SMR下的SI得到改善,STS掩蔽器的自然度和语音质量也得到改善。应用算法的局限性进行了讨论。
2020-08-06 cs.SD eess.AS