AV Speech Enhancement Challenge using a Real Noisy Corpus
Edinburgh Napier University(爱丁堡龙比亚大学);University of Wolverhampton(伍尔弗汉普顿大学);University of Stirling(斯特林大学);Sonova AG(索诺瓦公司)
本文首次提出了在真实噪声环境中的视听(AV)语音增强挑战。详细描述的AV挑战,一个新的真正嘈杂的AV语料库(ASPIRE),基准语音增强任务,和基线性能结果进行了概述。后者基于在Grid语料库和ChiME3噪声(包括公共汽车、行人、咖啡馆和街道噪声)的合成混合物上训练深度神经架构,并在ASPIRE语料库上进行测试。五种不同的语音增强算法(包括SEAGN,谱减法(SS),对数最小均方误差(LMMSE),音频只CochleaNet,AV CochleaNet)的主观评价作为基线结果。多模态挑战的目的是提供一个及时的机会,全面评估新的AV语音增强算法,使用我们的新基准,真实的噪音AV语料库和指定的性能指标。这将促进全球音视频语音处理研究,刺激新的突破性多模态方法,并吸引从事音视频语音技术和应用的公司、学者和研究人员的兴趣。我们鼓励来自语音和听力研究社区的参与者(通过挑战网站注册),从他们对噪声处理中的AV语音的补充方法中受益。
2019-09-30 cs.LG cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University(约翰斯·霍普金斯大学)
基于双向长短期记忆(BLSTM)神经网络的谱掩模估计已广泛应用于各种语音增强应用中,并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而,当这些掩模用于单通道语音增强时,它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合,使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
NASTAR: Noise Adaptive Speech Enhancement with Target-Conditional Resampling
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院)
对于基于深度学习的语音增强(SE)系统,训练-测试声学失配会导致显著的性能下降。为了解决失配问题,已经导出了许多噪声自适应策略。在本文中,我们提出了一种新的方法,称为噪声自适应语音增强与目标条件响应(NASTAR),它减少了失配与只有一个样本(单次)的噪声语音在目标环境中。NASTAR使用反馈机制通过噪声提取器和检索模型来模拟自适应训练数据。噪声提取器从噪声语音中估计目标噪声,称为伪噪声。噪声检索模型根据含噪语音从噪声信号池中检索相关噪声样本,称为相关队列。伪噪声和相关群组集合被联合采样并与源语音语料库混合以准备用于噪声自适应的模拟训练数据。实验结果表明,NASTAR可以有效地使用一个带噪的语音样本,以适应SE模型的目标条件。此外,噪声提取器和噪声恢复模型都有助于模型自适应。据我们所知,NASTAR是第一个通过噪声提取和检索进行单次噪声自适应的工作。
2022-06-18 cs.LG eess.AS
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart(斯图加特大学)
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据,但是整个系统遭受错误传播。在本文中,我们提出了一种新的训练方法,使预训练的上下文嵌入处理声学特征。特别是,我们扩展它与编码器的预训练语音识别系统,以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架,跨越语音和文本形式,对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明,我们的系统达到了与流水线架构相当的性能,而不使用任何训练数据,并在三个基准测试中的两个上进行了每类十个示例的微调后,性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
Lightweight speech enhancement guided target speech extraction in noisy multi-speaker scenarios
MiLM Plus, Xiaomi Inc(小米公司 MiLM 实习项目)
本文提出轻量语音增强模型GTCRN,通过改进目标语音提取方法,在噪声多说话人场景中提升语音增强性能,实验显示SISDR、PESQ和STOI均有显著提升。
2026-03-13 eess.AS
Self-training with noisy student model and semi-supervised loss function for dcase 2021 challenge task 4
Gwangju Institute of Science and Technology(光州科学技术院)
本报告为DCASE 2021挑战任务4提出了一种复音声音事件检测(SED)方法。建议的SED模型由两个阶段组成:一个平均教师模型,用于提供关于弱标记或未标记数据的目标标签,以及一个基于自我训练的嘈杂学生模型,用于预测声音事件的强标签。均值-教师模型基于教师和学生模型的残差卷积递归神经网络(RCRNN),首先使用来自弱标记数据集、未标记数据集和强标记合成数据集的所有训练数据进行训练。然后,训练好的均值-教师模型预测每个弱标记和未标记数据集的强标记,并在所提出的SED模型的第二阶段将其带入噪声学生模型。这里,噪声学生模型的结构与第一阶段中的均值-教师模型的基于RCRNN的学生模型相同。然后,通过添加特征噪声(如时频偏移,mixup,SpecAugment和基于dropout的模型噪声)进行自训练。此外,半监督损失函数被应用于训练噪声学生模型,其充当标签噪声注入。在DCASE 2021 Challenge Task 4的验证集上对所提出的SED模型的性能进行了评估,然后,最终选择了将五重验证模型与半监督损失函数的不同超参数相结合的几个集成模型作为我们的最终模型。
2021-07-06 cs.LG cs.SD eess.AS
Noisy-target Training: A Training Strategy for DNN-based Speech Enhancement without Clean Speech
基于深度神经网络(DNN)的语音增强通常需要干净的语音信号作为训练目标。然而,收集干净的信号是非常昂贵的,因为它们必须在演播室中记录。这个要求目前将用于语音增强的训练数据量限制到小于不需要干净信号的语音识别的训练数据量的1/1000。增加训练数据量对于提高性能是重要的,因此应该放宽对干净信号的要求。在本文中,我们提出了一种不需要干净信号的训练策略。所提出的方法只利用噪声信号进行训练,这使得我们能够使用各种语音信号在野外。我们的实验结果表明,该方法可以实现类似于使用干净信号训练的DNN的性能。
2021-05-10 eess.AS
Training Noisy Single-Channel Speech Separation With Noisy Oracle Sources: A Large Gap and A Small Step
The Johns Hopkins University(约翰斯·霍普金斯大学);Chinese Academy of Sciences(中国科学院)
随着单通道语音分离系统性能的提高,人们希望能够在比开发初始系统时所使用的干净近场语音更具挑战性的条件下进行训练。在训练深度学习分离模型时,需要对地面实况进行训练。因此,在嘈杂条件下的训练需要使用合成添加到干净语音的噪声,防止将域内数据用于嘈杂条件任务,或者使用嘈杂语音的混合物进行训练,需要网络额外分离噪声。我们证明了噪声的相对不可分割性,这种嘈杂的语音模式导致系统性能的显着下降。我们还提出了一个受SI-SDR启发的训练目标,该目标试图利用噪声的不可分离性来隐式地划分信号并折扣噪声分离错误,从而能够训练具有噪声Oracle源的更好的分离系统。
2021-02-22 cs.SD eess.AS
Semi-supervised music emotion recognition using noisy student training and harmonic pitch class profiles
我们提出了Mirable提交给2021年情感和主题音乐挑战。在这项工作中,我们打算解决的问题:我们可以利用半监督学习技术对音乐情感识别?有了这个,我们用带噪声的学生训练进行了实验,这提高了模型在图像分类领域的性能。由于嘈杂的学生方法需要一个强大的教师模型,我们进一步深入研究了包括(i)输入训练长度和(ii)互补音乐表示在内的因素,以进一步提高教师模型的性能。对于(i),我们发现用短输入长度训练的模型在PR-AUC中表现更好,而用长输入长度训练的模型在ROC-AUC中表现更好。对于(ii),我们发现,使用谐波音高类配置文件(HPCP)一贯提高标记性能,这表明谐波表示是有用的音乐情感标记。最后,我们发现,噪声学生的方法只提高了标记的结果的情况下,长的训练长度。此外,我们发现,用不同的训练长度训练的集合表示可以显着改善标记结果,这为将来的工作提供了一个可能的方向,可以探索在网络架构中引入多个时间分辨率。
2021-12-09 cs.LG cs.SD eess.AS
Supervised Initialization of LSTM Networks for Fundamental Frequency Detection in Noisy Speech Signals
Universidad de Costa Rica(哥斯达黎加大学)
基频是人类语音最重要的参数之一,对于口音、性别、说话风格、说话人辨识、年龄等的分类具有重要意义。对于严重退化的信号,该参数的正确检测仍然是一个重要的挑战。在先前用于使用深度学习来检测噪声语音中的基频的参考文献中,诸如长短期记忆(LSTM)的网络已经用随机权重初始化,并且然后遵循通过时间算法的反向传播来训练。在这项工作中,提出了一个更有效的初始化的建议,基于监督训练使用自关联网络。该初始化是用于检测噪声语音中的基频的更好的起点。这种初始化的优点是显而易见的,使用客观的测量的检测精度和训练的网络,在不同的信号噪声水平的加性白噪声的存在下。
2019-11-11 cs.LG cs.SD eess.AS
Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples
Clova AI Research, NAVER Corp.(NAVER公司Clova人工智能研究院);Search Solution Inc.(搜索解决方案公司);Seoul National University(首尔大学)
为大型语音语料库标注译文的成本成为最大限度地享受基于深度神经网络的自动语音识别模型的潜在能力的瓶颈。在本文中,我们提出了一种新的训练管道,以提高传统的主动学习方法的目标是标签有效的学习,以解决上述问题。现有的主动学习方法只关注在标签预算下选择一组信息样本。更进一步,我们建议通过利用未标记的样本,超过标记预算,通过引入有效地补充监督损失的可配置的无监督损失,可以进一步提高训练效率。我们提出了新的无监督损失的一致性正则化的基础上,我们配置适当的增强技术的话语采用一致性正则化的自动语音识别任务。通过对真实世界数据集和真实使用场景的定性和定量实验,我们证明了所提出的训练管道可以提高主动学习方法的有效性,从而成功地降低了可持续的人工标记成本。
2020-11-05 cs.LG eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University(名古屋大学)
基于深度神经网络(DNN)的语音增强通常使用干净的语音作为训练目标。然而,很难收集大量干净的语音,因为录音成本很高。换句话说,当前语音增强的性能受到训练数据量的限制。为了放宽该限制,已经提出了利用噪声语音作为训练目标的噪声目标训练(NyTT)。虽然实验表明,NyTT可以训练DNN而无需干净的语音,但尚未进行详细的分析,并且其行为尚未得到很好的理解。在本文中,我们进行各种分析,以加深我们对NyTT的理解。此外,基于NyTT的属性,我们提出了一种改进的方法,该方法与使用干净语音的方法相当。此外,我们表明,我们可以提高性能,通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
BridgeNets: Student-Teacher Transfer Learning Based on Recursive Neural Networks and its Application to Distant Speech Recognition
Samsung Semiconductor, Inc.(三星半导体公司)
尽管在自动语音识别方面取得了显著的进展,但识别混合有各种噪声源的远场语音仍然是一项具有挑战性的任务。在本文中,我们介绍了新的学生-教师迁移学习,桥网,它可以提供一个解决方案,以提高远程语音识别。BridgeNet有两个关键特性。首先,BridgeNet通过从教师网络提供多个提示来扩展传统的学生-教师框架。提示不仅限于教师网络的软标签。教师的中间特征表示可以更好地指导学生网络学习如何对噪声输入进行降噪或去混响。其次,BridgeNet中提出的递归架构可以迭代地提高去噪和识别性能。BridgeNet的实验结果表明,在解决远程语音识别问题方面有了显着的改进,与没有教师提示的基线神经网络相比,它在AMI语料库上实现了高达13.24%的相对WER降低。
2018-02-21 cs.CL cs.SD eess.AS
Enhancing into the codec: Noise Robust Speech Coding with Vector-Quantized Autoencoders
Amazon Web Services(亚马逊云科技)
最近已经开发出基于离散神经自编码器的音频编解码器,并且显示出对于相当质量的语音输出提供显著更高的压缩水平。然而,这些模型与语音内容紧密耦合,并且在噪声条件下产生非预期的输出。基于VQ-VAE自编码器和WaveRNN解码器,我们开发了压缩增强器编码器和附带的解码器,并表明它们在噪声条件下运行良好。我们还观察到,压缩增强器模型在干净的语音输入上的性能优于仅在干净的语音上训练的压缩器模型。
2021-02-12 cs.LG eess.AS
Teacher-Student MixIT for Unsupervised and Semi-supervised Speech Separation
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们介绍了一种新的半监督学习框架的端到端的语音分离。该方法首先使用未分离源的混合物和混合不变训练(MixIT)准则来训练教师模型。然后,教师模型估计分离的源,这些源用于通过标准排列不变训练(PIT)来训练学生模型。学生模型可以用监督数据进行微调,即,配对的人工混合物和干净的语音源,并通过模型蒸馏进一步改进。单通道和多通道混合的实验表明,师生培训解决了在原始MixIT方法中观察到的过度分离问题。此外,半监督的性能与使用十倍的监督数据量训练的全监督分离系统相当。
2021-09-09 cs.CL cs.SD eess.AS
A Training and Inference Strategy Using Noisy and Enhanced Speech as Target for Speech Enhancement without Clean Speech
North Co., Ltd.(北方有限公司);Academia Sinica(中央研究院)
针对纯净语音缺乏导致训练准则与评估指标不匹配的问题,提出一种改进含噪目标训练(NyTT)的训练与推理策略,通过重新混合教师模型估计的语音和噪声来训练学生模型,实验证明该方法优于多个基线,尤其在教师/学生推理中表现突出。
2023-05-22 cs.AI cs.CL cs.LG
MetricGAN-U: Unsupervised speech enhancement/ dereverberation based only on noisy/ reverberated speech
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Mila-Quebec AI Institute(米拉-魁北克人工智能研究院);Microsoft(微软)
大多数基于深度学习的语音增强模型都是以监督的方式学习的,这意味着在训练期间需要成对的噪声和干净语音。因此,日常生活中记录的几个嘈杂的语音不能用于训练模型。虽然某些无监督学习框架也被提出来解决对约束,但它们仍然需要干净的语音或噪声进行训练。因此,在本文中,我们提出了MetricGAN-U,它代表MetricGAN-unsupervised,以进一步释放传统无监督学习的约束。在MetricGAN-U中,通过优化非侵入式语音质量指标,仅需要带噪语音来训练模型。实验结果验证了MetricGAN-U在客观和主观指标上都优于基线。
2021-10-12 cs.CL cs.SD eess.AS
Representation learning through cross-modal conditional teacher-student training for speech emotion recognition
通用的预训练语音和文本表示有望减少特定语音和语言任务对大型标记数据集的需求。然而,目前还不清楚如何有效地适应这些表示语音情感识别。最近的公共基准测试显示了几种流行的自监督语音表示对情感分类的有效性。在这项研究中,我们表明,表现最好的表示之间的主要差异是在预测价,而在预测激活和优势尺寸的差异不太明显。然而,我们发现,即使是表现最好的HuBERT表示的效价预测相比,多模态模型,也结合了文本表示。我们通过将词汇信息注入到使用多模态模型作为教师的语音表示中来解决这个缺点。为了提高我们的方法的有效性,我们提出了一种新的估计的质量的情绪预测,条件教师和学生的培训。我们报告了新的音频只有最先进的一致性相关系数(CCC)值为0.757,0.627,0.671的激活,效价和优势预测,分别在MSP播客语料库,也是最先进的值为0.667,0.582,0.545的IEMOCAP语料库。
2022-01-27 eess.AS
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);NTNU(挪威科技大学)
我们提出了一个集成学习框架与泊松子采样,有效地训练一组教师模型,发出一些差分隐私(DP)的训练数据的保证。通过DP下的提升,从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制,即:(i)经由泊松子采样的隐私预算放大,以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型,以及(ii)子采样技术和总体师生学习框架的组合,该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练,以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明,我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
Training Speech Enhancement Systems with Noisy Speech Datasets
The University of Tokyo(东京大学);Sony Corporation(索尼公司)
最近,基于深度神经网络(DNN)的语音增强(SE)系统已经获得了巨大的成功。在训练期间,这样的系统需要干净的语音数据-理想地,具有各种声学条件、许多不同的说话者特性并且对于给定的采样率(例如,48 kHz(用于全频带SE)。然而,获得这种干净的语音数据并不简单-特别是如果只考虑公开可用的数据集。同时,具有期望的声学/说话者/采样率特性的用于自动语音识别(ASR)的许多材料是公开可用的,除了是干净的,即,它还包含背景噪声,因为为了具有噪声鲁棒的ASR系统,这甚至常常是期望的。因此,使用这样的数据来训练SE系统并不简单。在本文中,我们提出了两个改进的训练SE系统的噪声语音数据。首先,我们提出了几个修改的损失函数,这使得他们对嘈杂的语音目标的鲁棒性。特别地,在对时间-频率仓进行平均之前计算样本轴上的中值允许使用这样的数据。此外,我们还提出了一种用于混合不变训练(MixIT)的噪声增强方案,该方案也允许在这种情况下使用它。在我们的实验中,我们使用Mozilla Common Voice数据集,我们表明,与传统方式训练的系统相比,使用我们的鲁棒损失函数将PESQ提高了0.19。同样,对于MixIT,当使用我们提出的噪声增强时,我们可以看到PESQ的改善高达0.27。
2021-05-26 cs.LG cs.SD eess.AS
Study of GANs for Noisy Speech Simulation from Clean Speech
Manipal Institute of Technology(马尼帕尔理工学院);Nanyang Technological University(南洋理工大学);Indian Institute of Technology, Indore(印度理工学院印多尔分校)
针对纯净语音模型在带噪条件下性能下降的问题,提出四种GAN模拟带噪语音,在约3分钟小数据集上于RATS等三个数据集的MSSL指标取得22.8%至55.8%的提升。
2023-05-21 cs.SD eess.AS
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs Research(脸书现实实验室研究)
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中,我们探讨的方法,使监督语音增强系统训练真实世界的退化语音数据。具体来说,我们提出了一个半监督的语音增强方法,我们首先训练一个修改后的矢量量化变分自编码器,解决了源分离任务。然后,我们使用这个训练的自动编码器,进一步训练一个增强网络,使用现实世界的嘈杂的语音数据,通过计算一个基于三元组的无监督损失函数。实验表明,将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
SNR-Based Teachers-Student Technique for Speech Enhancement
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology(内蒙古蒙古文信息处理技术重点实验室)
语音增强方法如何同时在高信噪比和低信噪比下获得鲁棒性能是一个非常具有挑战性的问题。在本文中,我们提出了一种方法,集成了基于信噪比的师生技术和时域U网来处理这个问题。具体来说,该方法由多个教师模型和一个学生模型组成。我们首先在多个互不重合的小范围SNR下对教师模型进行训练,使其能够在特定的SNR范围内很好地进行语音增强。然后,根据训练数据的信噪比选择不同的教师模型来监督学生模型的训练。最后,学生模型可以在高信噪比和低信噪比下进行语音增强。为了评估所提出的方法,我们基于公共数据集构建了一个SNR范围从-20 dB到20 dB的数据集。我们实验分析了基于信噪比的师生技术的有效性,并将所提出的方法与几种最先进的方法进行了比较。
2020-10-29 cs.CL cs.SD eess.AS
Improving noise robustness of automatic speech recognition via parallel data and teacher-student learning
Brno University of Technology(布尔诺理工大学);Amazon.com, Inc.(亚马逊公司)
对于现实世界的语音识别应用,噪声鲁棒性仍然是一个挑战。在这项工作中,我们采用了教师-学生(T/S)学习技术,使用一个平行的清洁和噪声语料库,以提高自动语音识别(ASR)的性能在多媒体噪声。最重要的是,我们应用了一种logits选择方法,该方法只保留k个最高值,以防止教师错误地强调知识,并减少传输数据所需的带宽。我们结合了多达8000小时的未转录数据进行训练,并在序列训练模型上展示了我们的结果,除了交叉熵训练的模型。最好的序列训练的学生模型产生相对字错误率(WER)减少约10.1%,28.7%和19.6%,分别对我们的清洁,模拟噪声和真实的测试集相比,序列训练的教师。
2019-03-15 cs.CL cs.LG cs.SD
Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments
Advanced Bionics(先进仿生公司)
本文提出了一种基于加权预测误差(WPE)的卡尔曼滤波算法的神经网络增强抗噪在线去混响算法。滤波器随机变化由深度神经网络(DNN)使用滤波器残差和信号特征进行端到端训练来预测。所提出的框架允许在类似于WHAMR!的单通道噪声混响数据集上进行鲁棒的去混响。如果目标语音功率谱密度不是完全已知的并且观测是有噪声的,则卡尔曼滤波WPE在仅从残余误差预测滤波器变化时在增强信号中引入失真。所提出的方法通过以数据驱动的方式校正滤波器变化估计来避免这些失真,从而增加该方法对噪声场景的鲁棒性。此外,与WPE的DNN支持的递归最小二乘变体相比,它产生了强大的去混响和去噪性能,特别是对于高噪声输入。
2022-06-23 cs.LG cs.SD eess.AS
Room Impulse Response Embeddings for Speech Enhancement in Noisy and Reverberant Environments
Paderborn University(帕德博恩大学)
提出自监督方法学习房间冲激响应嵌入,用于在混响和噪声环境中提升语音增强性能,并在所有指标上取得一致改进。
2026-09-28 cs.SD eess.AS
Toward using Speech to Sense Student Emotion in Remote Learning Environments
Idiap Research Institute(伊迪亚普研究所);Lausanne University Hospital and University of Lausanne(洛桑大学医院和洛桑大学);The Sense Innovation and Research Center(Sense创新与研究中心);FFHS: Swiss Distance University of Applied Sciences(瑞士远程应用科学大学)
本文通过构建基于语音的自我控制任务数据集,研究语音在远程学习中感知学生情绪的可行性,探讨语音在情感维度上的变化及自动预测方法。
2026-04-10 cs.HC eess.AS
A Convolutional Neural Network model based on Neutrosophy for Noisy Speech Recognition
Iran University of Science and Technology(伊朗科技大学);K.N.Toosi University of Technology(霍加·纳西尔丁·图西尼扎米大学)
卷积神经网络在测试阶段对未知的噪声条件敏感,因此对于包括噪声语音识别在内的噪声数据分类任务,其性能会下降。在这项研究中,一个新的卷积神经网络(CNN)模型与数据的不确定性处理,称为NCNN(中性卷积神经网络),提出了分类任务。这里,语音信号被用作输入数据,并且它们的噪声被建模为不确定性。在本课题中,利用语音频谱图,提出了一种基于语音域的不确定性定义。将语音谱图中的每个时频点看作一个像素来计算不确定度。因此,在NS域中创建与谱图大小相同的不确定度矩阵。在接下来的步骤中,提出了两条并行路径的CNN分类模型。第一路以语音谱图为输入,第二路以不确定性矩阵为输入,两路的输出合并计算分类器的最终输出。为了验证该方法的有效性,在Aurora2数据集的孤立词上与传统的CNN进行了比较。在有噪声的训练数据中,该方法的平均识别精度达到85.96。它对汽车、机场和地铁噪声的鲁棒性更强,在测试集A、B和C中的精度分别为90、88和81。实验结果表明,该方法在测试集A、B和C上分别比传统的CNN提高了6、5和2个百分点。这意味着所提出的方法对噪声数据具有更强的鲁棒性,并有效地处理这些数据。
2019-02-28 cs.LG cs.SD eess.AS
Enhancement of Noisy Speech Exploiting an Exponential Model Based Threshold and a Custom Thresholding Function in Perceptual Wavelet Packet Domain
为了增强带噪语音,提出了一种基于带噪语音的Teager能量(TE)运算感知小波包(PWP)系数指数分布建模的阈值确定方法。一个自定义的阈值功能的基础上的组合的μ律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的信噪比方面的标准客观措施和主观评价,包括正式的听力测试。
2018-02-15 eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart(斯图加特大学)
本文介绍了我们最新的研究,提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN,以减少输入语音的噪声,从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强,而不需要任何并行数据,并通过引入多个鉴别器来检查不同的频率区域来改进它。此外,我们表明,在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法,并在开发集上观察到高达10.03%的相对WER改善,在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Ultra Fast Speech Separation Model with Teacher Student Learning
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司)
Transformer利用自注意机制,具有很强的长相关建模能力,近年来已成功应用于语音分离。然而,由于编码器层较深,Transformer往往具有沉重的运行时成本,这阻碍了其在边缘设备上的部署。具有较少编码器层的小型Transformer模型对于计算效率而言是优选的,但是其易于性能降级。本文提出了一种超快速的语音分离Transformer模型,以实现更好的性能和效率与教师学生学习(T-S学习)。我们引入了分层T-S学习和目标转换机制来引导小学生模型从大教师模型学习中间表示。与从头开始训练的小Transformer模型相比,所提出的T-S学习方法在LibriCSS数据集上的多通道和单通道语音分离中将单词错误率(WER)降低了5%以上。利用更多的未标记语音数据,我们的超快速语音分离模型实现了超过10%的相对WER降低。
2022-04-27 cs.CL cs.SD eess.AS
Exploiting Noise Inseparability for Weakly-Supervised Discriminative Speech Denoising Using Noisy Targets
Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学)
提出一种利用噪声估计抵消语音估计中残留噪声的方法,通过联合训练人工和自然噪声混合物实现领域自适应,在WHAM!和CHiME-3基准上验证有效性。
2026-09-16 eess.AS
SPIRAL: Self-supervised Perturbation-Invariant Representation Learning for Speech Pre-Training
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
我们介绍了一种名为SPIRAL的语音预训练新方法,该方法通过在教师-学生框架中学习扰动数据的去噪表示来工作。具体来说,给定一个语音话语,我们首先将话语馈送到教师网络以获得相应的表示。然后,相同的话语被扰动并馈送到学生网络。学生网络被训练成输出类似于教师的表示。同时,教师网络被更新为学生权重在训练步骤上的移动平均值。为了防止表征崩溃,我们将话语中的对比损失作为预训练目标,并对教师的输入施加位置随机化。与最先进的语音预训练方法wav 2 vec 2.0相比,SPIRAL实现了具有竞争力或更好的结果,并显着降低了训练成本(BASE模型为80%,LARGE模型为65%)。此外,我们解决了噪声鲁棒性的问题,这是现实世界的语音应用程序的关键。我们提出了多条件预训练通过扰动学生的输入与各种类型的加性噪声。我们证明了多条件预训练的SPIRAL模型对嘈杂的语音更鲁棒(在真实嘈杂的测试数据上相对字错误率降低9.0% - 13.3%),相比于仅在微调阶段应用多条件训练。源代码可在https://github.com/huawei-noah/Speech-Backbones/tree/main/SPIRAL上获得。
2022-03-06 cs.CL cs.LG cs.SD
End-to-End DOA-Guided Speech Extraction in Noisy Multi-Talker Scenarios
针对噪声多说话人场景,提出融合DOA与波束宽度嵌入的端到端TSE模型,可增强目标语音、抑制空间干扰并提升下游ASR性能。
2025-07-28 eess.AS
Improving Deep Speech Denoising by Noisy2Noisy Signal Mapping
现有的基于深度学习的语音去噪方法需要干净的语音信号可用于训练。本文提出了一种基于深度学习的方法,通过不需要以自我监督的方式提供干净的语音信号来改善真实世界音频环境中的语音去噪。通过使用相同语音信号的两个噪声实现来训练全卷积神经网络,一个用作网络的输入,另一个用作网络的输出。进行了大量的实验,以显示所开发的深度语音去噪方法的优越性,传统的监督深度语音去噪方法的基础上,四个常用的性能指标,并根据实际的现场测试结果。
2020-02-21 cs.SD eess.AS eess.SP
A Teacher-Student approach for extracting informative speaker embeddings from speech mixtures
Paderborn University(帕德博恩大学);Toshiba Cambridge Research Laboratories(东芝剑桥研究实验室)
本文提出一种基于师生训练的单声道神经说话人嵌入提取方法,从语音混合信号中直接提取各说话人嵌入,在说话人存在性验证任务上显著优于传统方法,并达到与多通道空间方法相当的性能。
2023-09-19 cs.SD eess.AS
Multiple Confidence Gates For Joint Training Of SE And ASR
语音增强模型(SE)和语音识别模型(ASR)的联合训练是噪声环境下鲁棒ASR的常见解决方案。增强后的语音特征分布具有不确定性,不利于语音识别。为了应对这一挑战,提出了一种具有多个置信门的SE和ASR联合训练方法。在联合训练中,设计了一个语音置信门预测模块来代替原来的SE模块。带噪语音通过门滤波获得更容易被ASR网络拟合的特征。实验结果表明,在纯净语音、合成带噪语音和真实带噪语音的测试集上,该方法比传统的鲁棒语音识别系统具有更好的性能。
2022-04-01 eess.AS
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University(哈利法大学);Mohammed VI Polytechnic University(穆罕默德六世理工大学);University of Sharjah(沙迦大学)
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法,将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件,从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法,使用预先训练的深度神经网络掩码和语音VGG,在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能,在瑞尔森视听数据集(RAVDESS)、模拟和实际压力下的语音数据集(SUSAS)和阿拉伯口音语音数据集(ESD)上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
DENT-DDSP: Data-efficient noisy speech generator using differentiable digital signal processors for explicit distortion modelling and noise-robust speech recognition
Nanyang Technological University(南洋理工大学)
自动语音识别(ASR)系统在噪声环境下性能会急剧下降。显式失真建模(EDM),作为一个特征补偿步骤,能够增强ASR系统在这种条件下,通过模拟域中的噪声语音从干净的同行。然而,现有的失真模型要么是不可训练的或不可解释的,往往缺乏可控性和泛化能力。在本文中,我们提出了一个完全可解释和可控的模型:DENT-DDSP实现电火花加工。DENT-DDSP采用新颖的可微分数字信号处理(DDSP)组件,仅需10秒的训练数据即可实现高保真度。实验表明,从DENT-DDSP的模拟噪声数据达到最高的模拟保真度相比,其他基线模型的多尺度谱损失(MSSL)。此外,为了验证DENT-DDSP模拟的数据是否能够替代噪声鲁棒ASR任务中稀缺的域内噪声数据,使用模拟数据和真实数据训练具有相同架构的多个下游ASR模型。实验结果表明,用DENT-DDSP模拟噪声数据训练的模型与基准模型在字错误率(WER)方面相差2.7%,取得了相似的性能。模型的代码在网上发布。
2022-08-01 cs.SD eess.AS
On monoaural speech enhancement for automatic recognition of real noisy speech using mixture invariant training
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们探讨了一个改进的框架,训练单耳神经增强模型的鲁棒语音识别。所设计的训练框架扩展了现有的混合不变训练标准,以利用未配对的干净语音和真实的噪声数据。研究发现,不成对的纯净语音是提高从实际噪声中分离出的语音质量的关键。所提出的方法还执行处理和未处理的信号的再混合,以减轻处理伪影。在单通道CHiME-3真实测试集上的实验表明,该方法在语音识别性能方面明显优于在非监督方式下训练的增强系统,无论是在不匹配的模拟数据上训练,还是在匹配的真实数据上训练。与使用端到端和混合声学模型的未处理信号相比,所提出的系统已经实现了16%至39%的相对WER降低,而无需对失真数据进行再训练。
2022-09-20 cs.CL cs.SD eess.AS
A scalable noisy speech dataset and online subjective test framework
Microsoft Corp.(微软公司)
背景噪声是互联网协议语音(VoIP)和公共交换电话网(PSTN)呼叫中质量损害的主要来源。最近的工作显示了深度学习对噪声抑制的功效,但与其他领域(例如,ImageNet)和相关的评估更加集中。为了更好地促进语音增强中的深度学习研究,我们提出了一个带噪语音数据集(MS-SNSD),该数据集可以根据扬声器的数量、噪声类型和所需的语音噪声比(SNR)水平扩展到任意大小。我们表明,增加数据集的大小增加了噪声抑制性能的预期。此外,我们提供了一个开源的评估方法,使用众包对结果进行主观评估,并使用参考算法对结果进行标准化。为了证明数据集和评估框架,我们将其应用于几个噪声抑制器,并将主观平均意见得分(MOS)与客观质量指标(如SNR,PESQ,POLQA和VISQOL)进行比较,并说明为什么仍然需要MOS。我们的主观MOS评估是我们所知道的第一次对语音增强算法进行大规模评估。
2019-09-17 cs.LG cs.SD eess.AS
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg(汉堡大学)
最近,变分自编码器已成功地用于学习语音信号的概率先验,然后用于执行语音增强。然而,变分自编码器仅在干净的语音上训练,这导致与监督方法相比,从噪声语音中提取语音信号的能力有限。在本文中,我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号(例如语音活动)的高级分类变量,与标准变分自动编码器相比,允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能,所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University(东南大学);Centre de Recherche en Information Biomédicale Sino-français (CRIBs)(中法生物医学信息研究中心);The 28th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第二十八研究所);Univ Rennes(雷恩大学)
在传统的语音去噪任务中,通常使用干净的音频信号作为训练目标,但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点,我们提出了一个端到端的自监督语音去噪训练方案,只使用嘈杂的音频信号,名为Only-Noisy Training(ONT),没有额外的训练条件。该策略仅从单个噪声音频中构造训练对,包含两个模块:训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对,然后送入一个新的复值语音去噪模块。实验结果表明,该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性,而且与其他训练策略相比,其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Direct Noisy Speech Modeling for Noisy-to-Noisy Voice Conversion
Nagoya University(名古屋大学)
除了在不改变语言内容的情况下转换说话者信息的常规语音转换(VC)之外,背景声音是信息性的并且需要在一些真实世界场景中保留,诸如电影/视频中的VC和音乐中的VC,其中语音与背景声音纠缠在一起。作为一个新的VC框架,我们已经开发了一个噪声到噪声(N2 N)VC框架转换扬声器的身份,同时保留背景声音。虽然我们的框架包括一个去噪模块和一个VC模块很好地处理背景声音,VC模块是敏感的去噪模块造成的失真。为了解决这个失真问题,在本文中,我们提出了改进的VC模块直接建模的噪声语音波形,同时控制背景声音。实验结果表明,我们改进的框架显着优于以前的一个,并达到了可接受的分数在自然度方面,同时达到可比的相似性性能的上限,我们的框架。
2021-11-13 cs.SD eess.AS
Transcription-Free Fine-Tuning of Speech Separation Models for Noisy and Reverberant Multi-Speaker Automatic Speech Recognition
Solventum(索尔文腾公司);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
针对真实重叠语音缺少参考转录的问题,提出仅用音频、以预训练ASR编码器嵌入差异为损失并结合GPIT的无转录联合微调方法,显著降低WER并提升STOI。
2024-06-13 cs.LG cs.SD eess.AS
DISPATCH: Distilling Selective Patches for Speech Enhancement
DISPATCH通过选择性补丁和多尺度方法提升语音增强的蒸馏效果,显著提高模型性能。
2026-01-26 cs.SD eess.AS
Improving Noisy Student Training on Non-target Domain Data for Automatic Speech Recognition
NVIDIA(英伟达)
噪声学生训练(NST)最近在自动语音识别(ASR)中表现出非常强大的性能。在本文中,我们提出了一个数据选择策略命名为LM过滤器,以提高性能的非目标域数据的ASR任务的NST。生成具有和不具有语言模型的假设,并且将它们之间的CER差异用作过滤阈值。结果显示,与无数据过滤基线相比,显著改善了10.4%。在AISHELL-1测试集上,我们可以获得3.31%的CER,这是我们在没有任何其他监督数据的情况下所知道的最好结果。我们还对有监督的1000小时AISHELL-2数据集进行了评估,并取得了4.73%CER的竞争结果。
2023-03-01 cs.CL cs.SD eess.AS
Noisy Disentanglement with Tri-stage Training for Noise-Robust Speech Recognition
Shanghai Engineering Research Center of Intelligent Education and Bigdata(智能教育与大数据上海工程研究中心);Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound AI技术有限公司)
针对低信噪比下语音识别性能下降问题,提出基于Conformer-Transducer的NoisyD-CT三阶段训练框架,通过紧凑型噪声解耦模块与双损失约束实现噪声抑制,在多数据集上显著降低词错误率且保持干净语音性能。
2025-09-01 cs.SD eess.AS
Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model
Tsinghua University(清华大学);Universität Hamburg(汉堡大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
本文提出轻量级音视频迭代模型AVLIT,采用渐进学习和共享权重的A-FRCNN块,在噪声环境下实现高效音视频语音分离,实验证明其性能优于多种基线且适用于低资源场景。
2023-05-31 cs.LG cs.SD eess.AS
Direction-Aware Adaptive Online Neural Speech Enhancement with an Augmented Reality Headset in Real Noisy Conversational Environments
Center for Advanced Intelligence Project (AIP), RIKEN(理化学研究所先进智能项目中心);Graduate School of Informatics, Kyoto University(京都大学信息学研究科);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院信息处理与通信实验室)
本文描述了用于增强现实(AR)耳机的在线语音增强的实际响应和性能感知开发,该增强现实(AR)耳机帮助用户理解在真实嘈杂的回声环境中进行的对话(例如,鸡尾酒会)。可以使用称为快速多通道非负矩阵分解(FastMNMF)的最先进的盲源分离方法,由于其无监督性质,该方法在各种环境中工作良好。然而,其沉重的计算成本,阻止其应用到实时处理。相比之下,使用深度神经网络(DNN)来估计语音和噪声的空间信息的监督波束成形方法很容易适应实时处理,但在失配条件下会遭受严重的性能下降。鉴于这种互补的特点,我们提出了一种双进程鲁棒在线语音增强方法的基础上基于DNN的波束形成与FastMNMF指导的适应。FastMNMF(后端)以小批量方式执行,并且噪声和增强的语音对与原始并行训练数据一起使用,用于以计算允许的间隔用反向传播更新方向感知DNN(前端)。该方法与称为加权预测误差(WPE)的盲去混响方法一起使用,用于以流式方式转录说话者的有噪混响语音,该语音可以从视频中检测到或者通过用户的手势或眼睛注视来选择,并且利用AR技术在空间上示出转录。我们的实验表明,单词错误率提高了10个点以上的运行时适应使用只有12分钟的观察。
2022-07-15 cs.LG cs.SD eess.AS
Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation
Wuhan University(武汉大学);Hubei Key Laboratory of Multimedia and Network Communication Engineering(多媒体与网络通信工程湖北省重点实验室)
针对现实噪声影响神经语音编解码器性能问题,提出FocalSE方法,通过聚焦调制进行压缩解压、生成掩码恢复干净特征嵌入,分离噪声嵌入并识别噪声类别,提升低比特率和低信噪比下性能。
2026-07-07 eess.AS
Knowledge Distillation from Multiple Foundation Models for End-to-End Speech Recognition
虽然通过自监督学习预训练的大型基础模型在包括自动语音识别(ASR)在内的许多任务中已经实现了最先进的性能,但在实践中通常需要知识蒸馏(KD)将大型教师模型学习到的知识转移到具有可承受的计算和存储成本的更小的学生模型中。本文提出了一种新的两阶段KD框架,从多个语音基础模型作为教师到一个单一的学生神经传感器模型的ASR的知识。在第一阶段,学生模型编码器使用从多个教师模型提取的嵌入进行预训练。在第二阶段,学生编码器根据ASR任务使用音频文本对进行微调。LibriSpeech 100小时子集上的实验表明,当只使用一个教师时,所提出的KD框架提高了流媒体和非流媒体学生模型的性能。当多个教师联合使用时,学生模型的性能可以进一步提高,单词错误率降低17.5%和10.6%。我们提出的框架可以与其他现有的KD方法相结合,以实现进一步的改进。通过在编码器预训练期间合并额外的未标记数据来获得进一步的WERR,从而在非流学生模型上获得55.0%的总相对WERR。
2023-03-20 cs.SD eess.AS
Modeling of Teager Energy Operated Perceptual Wavelet Packet Coefficients with an Erlang-2 PDF for Real Time Enhancement of Noisy Speech
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
为了实现带噪语音的实时增强,提出了一种基于Erlang-2 PDF对带噪语音和噪声的Teager能量(TE)感知小波包(PWP)系数建模的阈值确定方法。所提出的方法是计算速度远远快于现有的基于小波包的阈值方法。一个自定义的阈值功能的基础上的组合的μ-法律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。所提出的自定义阈值函数基于PWP变换的带噪语音的子带中语音存在和不存在的概率作为μ律或半软阈值函数或它们的组合工作。利用NOIZEUS数据库中的语音文件,对高斯白噪声和街道噪声环境下的语音信号进行了仿真,并对所提方法的性能进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的SNR在标准的客观措施和主观评价,包括正式的听力测试。
2018-02-09 cs.SD eess.AS
Personalized Speech Enhancement through Self-Supervised Data Augmentation and Purification
Indiana University(印第安纳大学)
训练个性化的语音增强模型本质上是一个无镜头学习问题,由于隐私的限制和有限的访问从目标用户的无噪声语音。如果测试时用户有大量未标记的嘈杂语音,则可以使用自监督学习来训练个性化的语音增强模型。模型个性化的一种直接方法是使用目标说话者的嘈杂录音作为伪源。然后,伪去噪模型学习去除注入的训练噪声并恢复伪源。然而,这种方法是不稳定的,因为它取决于伪源的质量,这可能是太嘈杂。作为补救措施,我们提出了一个改进的自我监督的方法,通过数据净化。我们首先训练一个SNR预测器模型来估计伪源的逐帧SNR。然后,预测器的估计被转换成权重,该权重调整伪源对训练个性化模型的逐帧贡献。我们的经验表明,建议的数据净化步骤提高了可用性的扬声器特定的噪声数据的背景下,个性化的语音增强。在不依赖任何干净的语音记录或说话者嵌入的情况下,我们的方法可以被视为隐私保护。
2021-04-05 cs.LG cs.SD eess.AS