Exploiting semi-supervised training through a dropout regularization in end-to-end speech recognition
Idiap Research Institute(伊迪亚普研究所);Adobe Research(奥多比研究院)
在本文中,我们探讨了各种方法的半监督学习的端到端的自动语音识别(ASR)框架。我们方法的第一步涉及在有限数量的标记数据上训练种子模型。通过数据选择机制采用额外的未标记语音数据以获得最佳假设输出,进一步用于重新训练种子模型。然而,单一假设可能无法很好地捕捉模型的不确定性。相对于这种技术,我们采用了辍学机制,以捕捉的不确定性,通过获得多个假设的文本转录的语音记录。我们假设自动生成的转录的话语的多样性将隐含地增加模型的可靠性。最后,数据选择过程也适用于这些假设的成绩单,以减少不确定性。在免费提供的TEDLIUM语料库和专有的Adobe内部数据集上的实验表明,与基线模型相比,所提出的方法显着减少了ASR错误。
2019-08-08 cs.LG cs.SD eess.AS
AmbiDrop: Array-Agnostic Speech Enhancement Using Ambisonics Encoding and Dropout-Based Learning
School of Electrical and Computer Engineering, Ben Gurion University of the Negev(内盖夫本-古里安大学电气与计算机工程学院)
提出AmbiDrop框架,通过全息声信号匹配将任意阵列编码到球谐域,结合通道丢弃训练,实现无需多几何阵列数据的阵列无关语音增强,在未见阵列上显著提升SI-SDR、PESQ和STOI。
2026-07-02 eess.AS
Macro-block dropout for improved regularization in training end-to-end speech recognition models
Samsung Electronics(三星电子);Samsung Research(三星研究院)
本文提出了一种新的正则化算法称为宏块丢弃。过拟合问题一直是训练大型神经网络模型的一个难题。dropout技术已被证明是简单但非常有效的正则化,可以防止训练过程中复杂的协同适应。在我们的工作中,我们定义了一个宏块,其中包含大量的单元从输入到递归神经网络(RNN)。我们不是对每个单元应用dropout,而是对每个宏块应用随机dropout。该算法在保持平均丢弃率不变的情况下,对每一层应用不同的丢弃率,具有更好的正则化效果。在我们的实验中,使用递归神经网络传感器(RNN-T),该算法显示相对于LibriSpeech测试-干净和测试-其他的传统辍学的字出错率(WRs)的4.30%和6.13%的改善。在基于注意力的编码器-解码器(AED)模型下,该算法在相同的测试集上比传统的丢弃算法分别提高了4.36%和5.85%。
2022-12-29 cs.CL cs.LG cs.SD
A CTC Triggered Siamese Network with Spatial-Temporal Dropout for Speech Recognition
Siamese网络在无监督视觉表征学习中表现出了有效的结果。这些模型旨在通过最大化它们的相似性来学习一个输入的两个增强的不变表示。本文提出了一种有效的Siamese网络来提高端到端自动语音识别(ASR)的鲁棒性。我们引入时空dropout来支持Siamese-ASR框架的更剧烈的扰动。此外,我们还放松了相似性正则化,以最大限度地提高关联时间分类(CTC)尖峰出现的帧上的分布的相似性,而不是在所有的帧上。在AISHELL-1和Librispeech两个基准测试上,该架构的效率分别降低了7.13%和6.59%。分析表明,我们提出的方法带来了更好的均匀性的训练模型,并扩大了CTC尖峰明显。
2022-06-22 eess.AS
Modality Dropout for Improved Performance-driven Talking Faces
Apple(苹果公司)
我们描述了我们的新的深度学习方法,使用声学和视觉信息来驱动动画面部。具体地,使用视听信息来生成语音相关的面部运动,并且仅使用视觉信息来生成非语音面部运动。为了确保我们的模型在训练期间利用这两种模式,生成了包含仅音频,仅视频和视听输入特征的批次。丢弃模态的概率允许控制模型在训练期间利用音频和视觉信息的程度。我们的训练模型在资源有限的硬件上实时运行(例如\智能电话),它是用户不可知的,并且它不依赖于语音的潜在的易于出错的转录。我们使用主观测试来证明:1)视听驱动的动画相对于等效的仅视频方法的改进,以及2)引入模态丢弃后语音相关面部运动的动画的改进。在引入dropout之前,51%的测试序列中观众更喜欢视听驱动的动画,而视频驱动的只有18%。引入dropout后,观众对视听驱动动画的偏好增加到74%,但对纯视频的偏好下降到8%。
2020-05-27 cs.LG cs.SD eess.AS
Improved Regularization Techniques for End-to-End Speech Recognition
Salesforce Research(Salesforce研究院)
正则化对于端到端语音模型很重要,因为模型非常灵活并且容易过拟合。数据增强和丢弃对于改进其他领域的端到端模型非常重要。然而,它们对于端到端语音模型的探索相对不足。因此,我们研究了这两种方法对于端到端可训练的深度语音识别模型的有效性。我们通过节奏、音高、音量、时间对齐的随机扰动和添加随机噪声来增强音频数据。我们进一步研究了dropout应用于网络所有层输入时的效果。我们表明,结合数据增强和dropout给华尔街日报(WSJ)和LibriSpeech数据集的相对性能提高了20%以上。我们的模型性能也与两个数据集上的其他端到端语音模型具有竞争力。
2017-12-19 cs.CL cs.SD eess.AS
SNR-Progressive Model with Harmonic Compensation for Low-SNR Speech Enhancement
Nanjing University(南京大学);Horizon Robotics(地平线机器人);State Grid Jiangsu Electric Power Co. Ltd(国网江苏省电力有限公司)
针对低信噪比下语音增强质量下降的问题,提出带谐波补偿的SNR递进模型,通过中间输出的可靠基音估计和谐波补偿提升效果,实验验证其优势且基于该模型的系统获ICASSP 2024 MISP Challenge第一。
2024-08-18 cs.SD eess.AS
Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition
ITMO University(圣光机大学);STC-innovations Ltd(STC创新有限公司)
随着语音助理的快速发展,使服务器预期的自动语音识别(ASR)解决方案适应直接设备已变得至关重要。研究人员和行业更喜欢将端到端ASR系统用于设备上的语音识别任务。这是因为与混杂系统相比,端到端系统可以在保持更高质量的同时节省资源。然而,构建端到端模型需要大量的语音数据。与语音助理相关的另一个具有挑战性的任务是个性化,这主要在于处理词汇表外(OOV)单词。在这项工作中,我们考虑建立一个有效的端到端的ASR系统,在低资源设置具有高OOV率,体现在巴贝尔土耳其语和巴贝尔格鲁吉亚任务。为了解决上述问题,我们提出了一种基于BPE-dropout技术的动态声学单元增强方法。它对话语进行非确定性的标记化,以扩展标记的上下文并将其分布规则化,以便模型识别未见过的单词。它还减少了对最佳子词词汇量搜索的需求。该技术提供了一个稳定的改善定期和个性化(OOV导向)语音识别任务(至少6%的相对WER和25%的相对F分数),在没有额外的计算成本。由于使用BPE-dropout,我们的单语土耳其语Conformer建立了具有竞争力的结果,具有22.2%的字符错误率(CER)和38.9%的单词错误率(WER),接近最好的多语言系统。
2021-03-12 cs.CL cs.LG cs.SD
GAN-Based Speech Enhancement for Low SNR Using Latent Feature Conditioning
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室)
本文提出 DisCoGAN,利用低信噪比语音增强判别式模型的潜在特征条件化时频域生成对抗网络,在语音质量上优于判别式方法和端到端 GAN。
2024-10-17 cs.SD eess.AS eess.SP
Improving Label Assignments Learning by Dynamic Sample Dropout Combined with Layer-wise Optimization in Speech Separation
Rutgers University(罗格斯大学);Amazon(亚马逊)
针对语音分离中PIT存在的标签分配频繁切换和层解耦问题,提出动态样本丢弃(DSD)与逐层优化(LO)相结合的训练策略,有效提升了模型性能且无需额外训练成本。
2023-11-20 cs.LG cs.SD eess.AS
SNR-Based Teachers-Student Technique for Speech Enhancement
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology(内蒙古蒙古文信息处理技术重点实验室)
语音增强方法如何同时在高信噪比和低信噪比下获得鲁棒性能是一个非常具有挑战性的问题。在本文中,我们提出了一种方法,集成了基于信噪比的师生技术和时域U网来处理这个问题。具体来说,该方法由多个教师模型和一个学生模型组成。我们首先在多个互不重合的小范围SNR下对教师模型进行训练,使其能够在特定的SNR范围内很好地进行语音增强。然后,根据训练数据的信噪比选择不同的教师模型来监督学生模型的训练。最后,学生模型可以在高信噪比和低信噪比下进行语音增强。为了评估所提出的方法,我们基于公共数据集构建了一个SNR范围从-20 dB到20 dB的数据集。我们实验分析了基于信噪比的师生技术的有效性,并将所提出的方法与几种最先进的方法进行了比较。
2020-10-29 cs.CL cs.SD eess.AS
Modality Dropout for Multimodal Device Directed Speech Detection using Verbal and Non-Verbal Features
Apple(苹果公司)
本文研究了DDSD系统在缺失模态下的鲁棒融合方案,结合言语与非言语(韵律)特征,发现非线性中间融合可降低8.5%误拒率,模态丢弃技术在推理缺失模态时提升7.4%性能。
2023-10-23 cs.HC cs.LG cs.SD
SNRi Target Training for Joint Speech Enhancement and Recognition
Google Research(谷歌研究院)
语音增强(SE)在包括自动语音识别(ASR)和电信的语音应用中被用作前端。使用SE前端的困难在于,适当的降噪水平取决于应用和/或噪声特性而不同。在这项研究中,我们提出了“信噪比改善(SNRi)目标训练”; SE前端被训练输出一个信号,其SNRi由辅助标量输入控制。在与后端的联合训练中,目标SNRi值由辅助网络估计。通过训练所有网络以最小化后端任务损失,我们可以在数据驱动方案中估计每个噪声输入的适当降噪水平。我们的实验表明,SNRi目标训练能够控制输出SNRi。此外,与基于Conformer的标准ASR模型和传统的SE-ASR联合训练模型相比,本文提出的联合训练方法分别将误词率降低了4.0%和5.7%。此外,通过分析预测的目标SNRi,我们观察到联合训练的网络自动控制目标SNRi根据噪声特性。音频演示可在我们的演示页面:google.github.io/df-conformer/snri_target/。
2022-03-28 cs.SD eess.AS
GMM based multi-stage Wiener filtering for low SNR speech enhancement
The Australian National University(澳大利亚国立大学)
本文提出了一种单通道语音增强方法,用于在低信噪比和非平稳噪声条件下对语音进行降噪和增强。具体来说,我们专注于使用高斯混合模型(GMM)的基础上的多阶段过程与参数维纳滤波器的噪声建模。与传统的维纳滤波方法相比,所提出的噪声模型估计更准确的噪声功率谱密度(PSD),并允许在各种噪声条件下更好的泛化。仿真结果表明,该方法可以实现更好的性能,在语音质量(PESQ)和可懂度(STOI)在低信噪比水平。
2022-07-14 cs.RO cs.SD eess.AS
A Lightweight Hybrid Dual Channel Speech Enhancement System under Low-SNR Conditions
针对低信噪比下计算资源受限的问题,提出一种结合IVA与改进GTCRN的轻量级混合双通道语音增强系统,以低参数和低复杂度实现有效增强。
2025-05-26 eess.AS
Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment
在日常的听音环境中,语音常常受到背景噪声、室内混响和扬声器干扰的影响而失真。随着深度学习方法的发展,单耳多说话人语音分离研究取得了很大进展。然而,在这方面的研究大多集中在一个简单的问题设置的实验室环境中,没有考虑背景噪声和房间混响。在本文中,我们提出了一个基于conv-TasNet的两阶段模型,分别处理噪声和干扰扬声器的显着影响,其中使用深度扩展时间卷积网络(TCN)依次进行增强和分离。此外,我们提出了一种新的目标函数,称为最佳尺度不变信噪比(OSI-SNR),它在任何情况下都优于原来的SI-SNR。通过与OSI-SNR联合训练两阶段模型,我们的算法大大优于一阶段分离基线。
2020-08-01 cs.SD eess.AS
PercepNet+: A Phase and SNR Aware PercepNet for Real-Time Speech Enhancement
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(云知声人工智能科技股份有限公司)
PercepNet是RNNoise的最新扩展,RNNoise是一种高效,高质量和实时的全频带语音增强技术,在各种公共深度噪声抑制任务中表现出良好的性能。本文提出了一种名为PercepNet+的新方法,通过四项重大改进进一步扩展了PercepNet。首先,我们引入了一种相位感知结构,通过分别添加复特征和复子带增益作为深度网络的输入和输出,将相位信息利用到PercepNet中。然后,一个信号噪声比(SNR)估计和SNR切换后处理的专门设计,以减轻过衰减(OA),出现在高信噪比条件下的原始感知网。此外,GRU层被TF-GRU取代,以模拟时间和频率依赖性。最后,我们提出综合复数子带增益损失、信噪比损失、基音滤波强度损失和一个OA损失,以多目标学习的方式进一步提高语音增强性能。实验结果表明,提出的PercepNet+在PESQ和STOI方面都明显优于原始PercepNet,而没有过多增加模型大小。
2022-03-04 cs.SD eess.AS
A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院)
该研究针对音视频语音识别中dropout提升缺失帧鲁棒性却降低完整数据性能的问题,从模态偏差角度揭示原因,提出MBH假说与MDA-KD框架,结合适配器应对模态完全缺失,经MISP数据集验证有效。
2024-03-07 cs.CV cs.LG cs.MM
Speech Enhancement in Adverse Environments Based on Non-stationary Noise-driven Spectral Subtraction and SNR-dependent Phase Compensation
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
本文提出了一种基于谱减法和相位谱补偿的两步增强方法,用于在非平稳噪声和中低信噪比的恶劣环境中对含噪语音进行增强。在该方法的第一步中,通过谱减法的方法来修改带噪语音谱的幅度,其中引入了基于带噪语音的低频信息的新的噪声估计方法。我们认为,这种方法的噪声估计是能够估计的非平稳噪声准确。在由相位谱补偿组成的第二步骤中修改带噪语音的相位谱,其中并入SNR相关的方法以确定施加在相位谱上的补偿量。通过将来自谱减法步骤的幅度和来自相位补偿步骤的修改后的相位谱进行聚合来获得修改后的复谱,发现这是增强的语音谱的更好的表示。在NOIZEUS数据库中的语音文件被用来进行广泛的模拟评估所提出的方法。
2018-02-19 cs.SD eess.AS
Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement
为了进一步解决传统语音增强系统中由于忽略相位信息而导致的性能下降问题,提出了一种基于时域扩张卷积生成对抗网络(TDCGAN)的端到端语音增强结构。本文首次在GAN结构中引入了具有深度可分离卷积的时间扩张卷积网络,从而在不增加参数数量的情况下大大增加了感受野。我们还首次探讨了信噪比惩罚项作为生成器损失函数的正则化对提高增强语音信噪比的影响。实验结果表明,我们提出的方法优于最先进的端到端基于GAN的语音增强。此外,与以前的基于GAN的方法相比,所提出的TDCGAN可以大大减少参数的数量。正如预期的那样,工作还表明,信噪比惩罚项作为正则化是更有效的提高语音增强的信噪比比$L1$。
2020-09-30 eess.AS
Spectral-change enhancement with prior SNR for the hearing impaired
Peking University(北京大学);Sonova(索诺瓦公司)
以前的信号处理算法,旨在提高频谱变化(SCE)随着时间的推移,听力受损(HI)的听众识别语音在背景噪声中的好处。在这项工作中,以前的SCE被操纵,以执行目标占主导地位的部分,而不是平等地对待所有帧。计算瞬时信噪比(SNR)以确定是否应处理这些片段。首先,通过预混信号的知识计算理想的SNR被引入到先前的SCE算法(SCE-iSNR)。分别在稳态语音频谱噪声(SSN)和六声语音(STS)掩蔽下测量了12名HI听众的语音清晰度(SI)和清晰度偏好。实验结果表明,SCE-iSNR算法对高信噪比下的掩蔽音和低信噪比下的STS掩蔽音均能显著提高语音质量,但对语音质量的影响较小。其次,使用从实际混合物获得的估计SNR,从而产生另一SCE-eSNR。对7名HI受试者进行了SI和自然度及语音质量主观评分。SCE-eSNR算法显示,SSN掩蔽器在高SMR下和STS掩蔽器在低SMR下的SI得到改善,STS掩蔽器的自然度和语音质量也得到改善。应用算法的局限性进行了讨论。
2020-08-06 cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London(帝国理工学院);Meta Reality Labs Research(Meta现实实验室);Meta
视听语音增强的目的是从噪声环境中提取干净的语音,不仅利用音频本身,而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强,特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展,但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频,通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中,我们提出了LA-VocE,一种新的两阶段方法,通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图,然后使用神经声码器(HiFi-GAN)将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估,并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明,LA-VocE优于现有的方法,根据多个指标,特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
Automatic Estimation of Intelligibility Measure for Consonants in Speech
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在这篇文章中,我们提供了一个模型来估计一个真正的价值衡量个别语音段的可懂度。我们基于卷积神经网络(CNN)训练回归模型,用于与元音\textipa{/A/}相关的塞音\textipa{/p,t,k,b,d,g/},以估计相应的信噪比(SNR),在该信噪比下,辅音-元音(CV)声音对于正常听力(NH)耳朵变得可理解。每个声音的可懂度度量称为SNR $_{90}$,定义为人类参与者能够平均至少90%正确识别辅音的SNR水平,如之前对NH受试者的实验所确定的。将CNN的性能与基于自动语音识别(ASR)的基线预测进行比较,具体地,从SNR中减去恒定偏移,在该恒定偏移处,ASR变得能够正确地标记辅音。与基线相比,我们的模型能够准确估计SNR $_{90}$ ~可懂度测量,平均均方误差(MSE)小于2 [dB $^2$ ],而基线ASR定义的测量计算SNR $_{90}$ ~,方差为5.2至26.6 [dB $^2$ ],具体取决于辅音。
2020-06-28 cs.CL cs.SD eess.AS
SNR-Based Features and Diverse Training Data for Robust DNN-Based Speech Enhancement
在本文中,我们解决了基于深度神经网络(DNN)的语音增强在训练数据大小和多样性有限的情况下对不可见噪声条件的泛化。为了获得更多的见解,我们分析了泛化方面:(1)训练数据的大小和多样性,(2)不同的网络架构,以及(3)选择的特征。为了解决(1),我们在Hu噪声语料库(有限大小)、CHiME 3噪声语料库(有限多样性)上训练网络,并且还提出了基于免费可用的声音收集的大而多样的数据集。为了解决(2),我们比较了全连接前馈和长短期记忆(LSTM)架构。为了解决(3),我们比较了三个输入特征,即量化的噪声周期图,噪声感知训练(NAT)和提出的基于信噪比(SNR)的噪声感知训练(SNR-NAT)。我们证实,丰富的训练数据和改进的网络架构有助于DNN的推广。此外,我们通过实验结果和使用t分布随机邻居嵌入(t-SNE)的分析表明,即使使用简单的网络架构,并且仅在小数据集上训练时,所提出的SNR-NAT特征也会在不可见的噪声中产生鲁棒和水平独立的结果,这是本文的关键贡献。
2021-05-15 cs.LG cs.SD eess.AS
Neural Architecture Search for Speech Emotion Recognition
CUHK Stanley Ho Big Data Decision Analytics Research Centre(香港中文大学何鸿燊大数据决策分析研究中心);Centre for Perceptual and Interactive Intelligence(感知与交互智能研究中心)
深度神经网络为语音情感识别(SER)带来了重大进步。然而,SER中的体系结构设计主要基于专家知识和经验(试错)评估,这是耗时和资源密集型的。在本文中,我们建议应用神经架构搜索(NAS)技术来自动配置SER模型。为了加快候选架构的优化,我们提出了一个统一的路径丢弃策略,鼓励所有候选架构操作,以平等地优化。在IEMOCAP上对两种不同神经网络结构的实验结果表明,NAS在保持模型参数大小不变的情况下,可以提高SER性能(54.89%~ 56.28%).所提出的辍学策略也显示出优于以前的方法。
2022-03-31 cs.CL cs.LG cs.SD
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs(Facebook现实实验室)
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下,所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中,我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估(3QUEST)的语音平均意见分数(SMOS)和噪声MOS(NMOS)的近场和远场应用的指标。此外,所提出的语音增强方法大大提高了信噪比(SNR)和主观听觉体验。相比之下,传统的语音增强方法虽然增加了NMOS和SNR,但降低了SMOS。此外,所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
VM-UNSSOR: Unsupervised Neural Speech Separation Enhanced by Higher-SNR Virtual Microphone Arrays
Southern University of Science and Technology(南方科技大学)
针对无监督语音分离在麦克风数量减少时性能急剧下降的问题,提出VM-UNSSOR,通过引入高信噪比虚拟麦克风信号计算额外的混合一致性损失,显著提升了分离性能并解决了频率排列问题。
2025-10-10 cs.SD eess.AS
A two-step approach for speech enhancement in low-SNR scenarios using cyclostationary beamforming and DNNs
本文提出一种结合循环平稳预处理与轻量级DNN的两步语音增强方法,有效提升低信噪比下的语音质量。
2026-02-13 cs.SD eess.AS
PROSE: Perceptual Risk Optimization for Speech Enhancement
Indian Institute of Science(印度科学理工学院);Indian Railways(印度铁路公司)
语音增强的目标是通过最小化所选择的失真度量来从噪声信号开始获得干净语音的估计,这导致取决于未知的干净信号或其统计的估计。由于在实践中对这种先验知识的访问是有限的或不可能的,因此必须估计干净的信号统计。在本文中,我们开发了一个新的风险最小化框架语音增强,其中,一个优化的失真/风险的无偏估计,而不是实际的风险。估计的风险仅表示为噪声观测的函数。我们考虑几个感知相关的失真措施,并制定相应的无偏估计的噪声分布和先验信噪比(SNR)的现实假设。最小化的风险估计产生相应的降噪,这是一个后验SNR的非线性函数。语音质量的感知评价(PESQ),平均分段信噪比(SSNR)的计算,和听力测试表明,建议的风险优化方法采用Itakura-Saito和加权双曲余弦失真比其他失真措施提供了更好的性能。对于信噪比大于5 dB,所提出的方法提供了优越的去噪性能的基准技术的基础上的维纳滤波器,对数MMSE最小化,贝叶斯非负矩阵分解。
2017-10-11 cs.SD eess.AS
DCCRN+: Channel-wise Subband DCCRN with SNR Estimation for Speech Enhancement
Northwestern Polytechnical University(西北工业大学)
深度复卷积递归网络(DCCRN)以复杂的结构扩展了CRN,在Interspeech 2020深度噪声抑制挑战赛(DNS 2020)的MOS评估中取得了优异的性能。本文通过以下重大修订进一步扩展了DCCRN。我们首先将模型扩展到子带处理,其中通过可学习的神经网络滤波器而不是工程FIR滤波器来分割和合并频带,从而以端到端的方式训练更快的噪声抑制器。然后,LSTM被进一步替换为复杂的TF-LSTM,以更好地沿时间和频率轴对时间依赖性进行建模。此外,我们不是简单地将每个编码器层的输出连接到相应解码器层的输入,而是使用卷积块首先从编码器输出中聚合基本信息,然后将其馈送到解码器层。我们特别制定了一个额外的先验信噪比估计模块的解码器,以保持良好的语音质量,同时消除噪声。最后采用后处理模块进一步抑制非自然残留噪声。这款名为DCCRN+的新机型在PESQ和DNSMOS方面已经超越了原有的DCCRN以及几款竞争机型,并在全新的Interspeech 2021 DNS挑战赛中取得了优异的成绩
2021-06-16 cs.SD eess.AS
Detecting Audio Attacks on ASR Systems with Dropout Uncertainty
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近开发了各种对抗性音频攻击来欺骗自动语音识别(ASR)系统。我们在这里提出了一个防御这种攻击的基础上引入的不确定性神经网络中的辍学。我们表明,我们的防御能够检测到通过最先进的端到端ASR系统上的优化扰动和频率掩蔽创建的攻击。此外,可以使防御对不受噪声降低影响的攻击是鲁棒的。我们在Mozilla的CommonVoice数据集,UrbanSound数据集和LibriSpeech数据集的摘录上测试了我们的防御,表明它在广泛的场景中实现了高检测精度。
2020-09-15 cs.CR cs.LG cs.SD
Environment-aware Reconfigurable Noise Suppression
Facebook AR/VR Division(Facebook增强现实/虚拟现实部门)
本文提出了一种有效的,鲁棒的,可重构的技术,以抑制各种类型的噪声,任何采样率。理论分析、主观和客观测试结果表明,本文提出的噪声抑制(NS)方案显著提高了语音传输指数(STI)、语音清晰度(SI)、信噪比(SNR)和主观听觉体验。STI和SI由5个级别组成,即,坏的、差的、一般的、好的和优秀的。最常见的噪声条件是SNR范围为-5至8 dB。对于-5到2.5dB的输入SNR,所提出的NS将STI和SI从“公平”改善到“良好”。对于2.5 ~ 8dB的输入信噪比,该方法可使STI和SI从“良好”提高到“优秀”。建议的NS可以通过在互联网协议语音,语音触发,和自动语音识别应用程序的捕获和回放路径。
2020-01-29 cs.SD eess.AS eess.SP
Leveraging Discriminative Latent Representations for Conditioning GAN-Based Speech Enhancement
本文提出 DisCoGAN,用判别式语音增强模型的潜在特征作为 GAN 的通用调节信息,显著提升低信噪比语音增强效果,并通过系统评估和消融实验验证其优势。
2025-08-28 eess.AS
Waveform to Single Sinusoid Regression to Estimate the F0 Contour from Noisy Speech Using Recurrent Deep Neural Networks
University of Eastern Finland(东芬兰大学)
基频(F0)表示语音中的音高,其确定语音的韵律特征,并且在用于语音分析和合成的各种任务中是需要的。尽管对这一主题进行了数十年的研究,但在意外噪声条件下的低信噪比(SNR)下的F0估计仍然很困难。这项工作提出了一种新的方法,噪声鲁棒F0估计使用的递归神经网络(RNN)训练的监督方式。最近的研究采用深度神经网络(DNN)进行F0跟踪,作为量化频率状态的逐帧分类任务,但我们提出了波形到正弦曲线回归,以实现噪声鲁棒性和准确估计,同时提高频率分辨率。在加性噪声污染的PTDB-TUG语料库(NOISEX-92)上的实验结果表明,与著名的噪声鲁棒F0跟踪器PEFAC相比,该方法在信噪比为-10 dB ~+10 dB时,粗基音误差(GPE)率和细基音误差(FPE)率均提高了35%以上。此外,所提出的方法在先前SNR范围内的FPE和GPE速率方面也优于最先进的基于DNN的方法超过15%。
2018-07-02 cs.CL cs.SD eess.AS
Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits
AI Lab, Lenovo Research(联想研究院人工智能实验室)
目标语音分离是根据所提供的附加说话人身份信息从语音混合物中滤除特定说话人的语音的过程。最近的工作已经取得了相当大的改进,直接在时域中处理信号。它们中的大多数采用完全重叠的语音混合进行训练。然而,由于大多数现实生活中的对话是随机发生的,并且重叠很少,因此我们认为使用不同重叠率的数据进行训练是有益的。要做到这一点,一个不可避免的问题是,普遍使用的SI-SNR损失没有定义的沉默源。本文提出了加权SI-SNR损失,以及目标语音分离和个人VAD的联合学习。加权SI-SNR损失施加与目标说话者的持续时间成比例的权重因子,并且当目标说话者不存在时返回零。同时,个人VAD生成掩码并将非目标语音设置为静音。实验表明,我们提出的方法优于基线的SDR完全重叠的语音,以及由4.17 dB和0.9 dB的稀疏重叠的语音的清洁和嘈杂的条件下,1.73 dB。此外,在性能略有下降的情况下,我们的模型可以减少推理的时间开销。
2021-09-27 cs.CL cs.SD eess.AS
Improved Remixing Process for Domain Adaptation-Based Speech Enhancement by Mitigating Data Imbalance in Signal-to-Noise Ratio
CyberAgent, Inc.(CyberAgent 公司)
针对基于域自适应的语音增强中伪数据信噪比不平衡导致性能欠佳的问题,提出采用课程学习覆盖更广信噪比范围,经CHiME-7 UDASE任务数据集验证可提升低占比数据的增强性能。
2024-06-20 cs.SD eess.AS
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL(三菱电机研究实验室)
当训练数据域和测试数据域不匹配时,自动语音识别(ASR)系统的性能通常会显著下降。在本文中,我们表明,自训练(ST)结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST,这是一种基于辍学的不确定性驱动的自我训练技术,它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据,这导致与没有滤波的ST相比大大改善了ASR结果,并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明,高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Uncovering the Visual Contribution in Audio-Visual Speech Recognition
Sigmedia Group, School of Engineering Trinity College Dublin(Sigmedia集团,工程学院,三一学院都柏林)
本文从人类语音感知视角评估AVSR系统,发现低WER不保证高SNR增益,揭示当前方法未充分利用视觉信息,建议未来研究同时报告有效SNR增益和WER。
2025-01-17 cs.SD eess.AS
Multi-modal Speech Enhancement with Limited Electromyography Channels
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);Fortemedia Singapore(Fortemedia新加坡公司)
针对现有基于肌电的语音增强方法通道多实用性弱的问题,提出结合8通道肌电与声学信号、带跨模态模块的改进SEMamba网络,显著提升低信噪比下语音增强效果与鲁棒性。
2025-01-11 cs.SD eess.AS
Grounded Decoding for Autoregressive Speech Enhancement via Adaptive Code-Space Grounding and Local LLM Refinement
Kyoto University(京都大学);Meta;Brno University of Technology(布尔诺理工大学);School of Electronic Information, Wuhan University(武汉大学电子信息学院);Academia Sinica(中央研究院(中国台湾));National Institute of Information and Communications Technology, Japan(日本信息通信研究机构)
该研究针对现有语音增强方法的缺陷,提出含自适应代码空间对齐(SNR-CSG)及LLM优化(GNR-LLM)的框架,实验验证其可提升低信噪比语音感知质量且不损失内容保真度。
2026-09-07 cs.SD eess.AS
Audio-Visual Speech Enhancement for Spatial Audio - Spatial-VisualVoice and the MAVE Database
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Technische Universität Berlin(柏林工业大学)
针对低信噪比空间音频增强空白,提出基于 VisualVoice 的多通道 AVSE 框架并构建 MAVe 数据库,实验证明其在多项指标及空间线索保留上优势显著。
2025-10-18 eess.AS
Quantum Fourier Transform Based Denoising: Unitary Filtering for Enhanced Speech Clarity
CRL Bharat Electronics Limited(巴拉特电子有限公司中央研究实验室);Indian Institute of Technology Delhi(印度理工学院德里分校)
本研究提出将量子傅里叶变换(QFT)集成到经典音频增强流水线的量子启发去噪框架,替换传统滤波器中的FFT,在多SNR条件下实现最高15dB的SNR提升,且低SNR与非平稳噪声下鲁棒性好、无额外开销,为量子增强语音处理提供可扩展路径。
2025-09-05 cs.ET cs.SD eess.AS
RT-LA-VocE: Real-Time Low-SNR Audio-Visual Speech Enhancement
Meta AI;Imperial College London(伦敦帝国学院)
针对实时低信噪比音视频语音增强需求,提出RT-LA-VocE模型,重新设计LA-VocE各组件实现因果实时推理,在AVSpeech数据集上取得实时场景最优效果,且延迟极低。
2024-07-10 cs.CV cs.MM cs.SD
Contrastive Learning with Variational Regularization for Multi-Session EEG-to-Speech Decoding
The University of Electro-Communications(电气通信大学);Artificial Intelligence eXploration Research Center (AIX)(人工智能探索研究中心)
该研究针对脑电到语音解码的低信噪比与会话变异性问题,采用多会话同一刺激的EEG响应作为对比学习正样本,结合变分正则化,在日语EEG数据集上降低了字符错误率并保持重构保真度。
2026-08-18 cs.SD eess.AS eess.SP
UNetGAN: A Robust Speech Enhancement Approach in Time Domain for Extremely Low Signal-to-noise Ratio Condition
Inner Mongolia Key Laboratory of Mongolian Information Processing Technology(内蒙古蒙古文信息处理技术重点实验室)
极低信噪比下的语音增强是一个非常具有挑战性的问题,在以前的工作中很少研究。针对这一问题,提出了一种基于U-Net和生成对抗学习的鲁棒语音增强方法(UNetGAN)。该方法由一个发电机网络和一个直接在时域工作的同步网络组成。该生成器网络采用类U-Net结构,并在其瓶颈处采用扩张卷积,在公共基准测试中,对低信噪比(-20dB)下的UNetGAN性能进行了评估。结果表明,它显着提高了语音质量,并大大优于代表性的深度学习模型,包括SEGAN,cGAN for SE,双向LSTM使用相位敏感谱近似代价函数(PSA-BLSTM)和Wave-U-Net关于短时客观可懂度(STOI)和语音质量的感知评估(PESQ)。
2020-10-29 cs.SD eess.AS eess.SP
Influence of Clean Speech Characteristics on Speech Enhancement Performance
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文系统研究干净语音的内在声学特性对语音增强性能的影响,发现共振峰幅度可稳定预测增强增益,并揭示说话人内部声学变异性对性能的重要性,为数据集、评估协议和模型设计提供新依据。
2025-09-23 eess.AS
Comparative Analysis Of Discriminative Deep Learning-Based Noise Reduction Methods In Low SNR Scenarios
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文比较分析了低信噪比场景下基于深度学习的降噪方法,从训练数据、损失函数、语音估计技术、掩蔽与深度过滤方法及模型容量五个方面展开实验,揭示了各方法优劣,为低信噪比降噪技术的选择提供指导。
2024-08-26 cs.SD eess.AS
On Unsupervised Uncertainty-Driven Speech Pseudo-Label Filtering and Model Calibration
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Le Mans University(勒芒大学)
伪标签(PL)过滤是无监督域自适应自训练(ST)方法的重要组成部分。基于丢弃的不确定性驱动的自训练(DUST)首先在源域标记数据上训练教师模型。然后,教师模型用于为未标记的目标领域数据提供PL。最后,我们训练一个学生增强标记和伪标记的数据。这个过程是迭代的,学生成为下一个DUST迭代的老师。在每个DUST迭代中,学生模型训练之前的一个关键步骤是过滤掉可能导致学生模型误入歧途的噪声PL。在DUST中,我们提出了一种简单,有效,理论上合理的PL过滤策略,该策略基于教师模型对未标记语音话语预测的不确定性。我们估计模型的不确定性,通过计算从教师模型中提取的多个样本之间的不一致,在推理过程中通过dropout注入噪声。在这项工作中,我们表明,DUST的PL过滤,最初使用的,可能会失败严重的源和目标域不匹配。我们提出了几种方法来消除或缓解这个问题。此外,我们将神经网络模型校准研究的见解带到DUST,并表明校准良好的模型与DUST PL过滤步骤的积极结果密切相关。
2022-11-14 cs.AI cs.LG eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield(谢菲尔德大学);WS Audiology(西万拓听力技术公司);Toshiba(东芝)
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离,以提升可懂度,实验显示相比SNR损失,HASPI、STOI、PESQ和SI-SNR均提高,且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Noise robust speech emotion recognition with signal-to-noise ratio adapting speech enhancement
Columbia University(哥伦比亚大学);Academia Sinica(中央研究院)
提出NRSER系统,结合语音增强与信噪比级别检测,提升语音情感识别在噪声环境下的鲁棒性,并防止对纯噪声信号做出情感预测。
2023-09-03 cs.LG cs.SD eess.AS
Mixture to Beamformed Mixture: Leveraging Beamformed Mixture as Weak-Supervision for Speech Enhancement and Noise-Robust ASR
本文提出利用波束成形混合信号作为弱监督训练深度神经网络进行语音增强,以提升模型对真实混合信号的泛化能力,并在CHiME-4数据集上验证了其有效性。
2025-07-21 eess.AS
A Hybrid Classical-Learning Framework for Adaptive Decision Directed Speech Enhancement
提出一种混合经典学习框架ABCDD,通过帧相关下限增益界扩展决策导向方法,并用轻量级MLP预测beta参数,在VoiceBank-DEMAND上提升平均SNR 4.41 dB。
2026-10-07 eess.AS
MatchboxNet: 1D Time-Channel Separable Convolutional Neural Network Architecture for Speech Commands Recognition
我们提出了一个MatchboxNet -一个用于语音命令识别的端到端神经网络。MatchboxNet是一个深度残差网络,由1D时间通道可分离卷积、批量归一化、ReLU和dropout层组成。MatchboxNet在Google Speech Commands数据集上达到了最先进的准确性,同时参数比类似模型少得多。MatchboxNet的小尺寸使其成为计算资源有限的设备的有吸引力的候选者。该模型具有高度可扩展性,因此可以通过适度的额外内存和计算来提高模型精度。最后,我们展示了使用辅助噪声数据集的密集数据增强如何在存在背景噪声的情况下提高鲁棒性。
2020-04-21 eess.AS
Concatenated Identical DNN (CI-DNN) to Reduce Noise-Type Dependence in DNN-Based Speech Enhancement
使用深度学习方法估计用于语音增强的时频域掩模最近已成为热门的研究领域。在本文中,我们提出了一个基于掩码的语音增强框架,通过使用级联相同的深度神经网络(CI-DNN)。其思想是在多个输入和输出信噪比(SNR)条件下训练单个DNN,使用相对于输入提供适度SNR增益的目标,从而实现语音分量质量和噪声抑制之间的平衡。我们将这个DNN连接几次,而不进行任何重新训练,以提供足够的噪声衰减。仿真结果表明,我们提出的CI-DNN优于使用经典谱加权规则w.r.t.总语音质量和语音清晰度。此外,与相同大小的噪声目标单DNN方法相比,我们的方法显示出类似甚至更好的性能,但可训练参数要少得多。与传统的干净目标单DNN方法的比较表明,我们提出的CI-DNN是更好的语音分量质量和更好的残留噪声分量质量。最重要的是,如果与其他经过测试的深度学习方法相比,我们的新CI-DNN最好地概括了一种看不见的噪声类型。
2018-10-26 eess.AS