Multiple Confidence Gates For Joint Training Of SE And ASR
语音增强模型(SE)和语音识别模型(ASR)的联合训练是噪声环境下鲁棒ASR的常见解决方案。增强后的语音特征分布具有不确定性,不利于语音识别。为了应对这一挑战,提出了一种具有多个置信门的SE和ASR联合训练方法。在联合训练中,设计了一个语音置信门预测模块来代替原来的SE模块。带噪语音通过门滤波获得更容易被ASR网络拟合的特征。实验结果表明,在纯净语音、合成带噪语音和真实带噪语音的测试集上,该方法比传统的鲁棒语音识别系统具有更好的性能。
2022-04-01 eess.AS
Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation
Wuhan University(武汉大学);Hubei Key Laboratory of Multimedia and Network Communication Engineering(多媒体与网络通信工程湖北省重点实验室)
针对现实噪声影响神经语音编解码器性能问题,提出FocalSE方法,通过聚焦调制进行压缩解压、生成掩码恢复干净特征嵌入,分离噪声嵌入并识别噪声类别,提升低比特率和低信噪比下性能。
2026-07-07 eess.AS
Training Noisy Single-Channel Speech Separation With Noisy Oracle Sources: A Large Gap and A Small Step
The Johns Hopkins University(约翰斯·霍普金斯大学);Chinese Academy of Sciences(中国科学院)
随着单通道语音分离系统性能的提高,人们希望能够在比开发初始系统时所使用的干净近场语音更具挑战性的条件下进行训练。在训练深度学习分离模型时,需要对地面实况进行训练。因此,在嘈杂条件下的训练需要使用合成添加到干净语音的噪声,防止将域内数据用于嘈杂条件任务,或者使用嘈杂语音的混合物进行训练,需要网络额外分离噪声。我们证明了噪声的相对不可分割性,这种嘈杂的语音模式导致系统性能的显着下降。我们还提出了一个受SI-SDR启发的训练目标,该目标试图利用噪声的不可分离性来隐式地划分信号并折扣噪声分离错误,从而能够训练具有噪声Oracle源的更好的分离系统。
2021-02-22 cs.SD eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University(名古屋大学)
基于深度神经网络(DNN)的语音增强通常使用干净的语音作为训练目标。然而,很难收集大量干净的语音,因为录音成本很高。换句话说,当前语音增强的性能受到训练数据量的限制。为了放宽该限制,已经提出了利用噪声语音作为训练目标的噪声目标训练(NyTT)。虽然实验表明,NyTT可以训练DNN而无需干净的语音,但尚未进行详细的分析,并且其行为尚未得到很好的理解。在本文中,我们进行各种分析,以加深我们对NyTT的理解。此外,基于NyTT的属性,我们提出了一种改进的方法,该方法与使用干净语音的方法相当。此外,我们表明,我们可以提高性能,通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
Study of GANs for Noisy Speech Simulation from Clean Speech
Manipal Institute of Technology(马尼帕尔理工学院);Nanyang Technological University(南洋理工大学);Indian Institute of Technology, Indore(印度理工学院印多尔分校)
针对纯净语音模型在带噪条件下性能下降的问题,提出四种GAN模拟带噪语音,在约3分钟小数据集上于RATS等三个数据集的MSSL指标取得22.8%至55.8%的提升。
2023-05-21 cs.SD eess.AS
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs Research(脸书现实实验室研究)
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中,我们探讨的方法,使监督语音增强系统训练真实世界的退化语音数据。具体来说,我们提出了一个半监督的语音增强方法,我们首先训练一个修改后的矢量量化变分自编码器,解决了源分离任务。然后,我们使用这个训练的自动编码器,进一步训练一个增强网络,使用现实世界的嘈杂的语音数据,通过计算一个基于三元组的无监督损失函数。实验表明,将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
Room Impulse Response Embeddings for Speech Enhancement in Noisy and Reverberant Environments
Paderborn University(帕德博恩大学)
提出自监督方法学习房间冲激响应嵌入,用于在混响和噪声环境中提升语音增强性能,并在所有指标上取得一致改进。
2026-09-28 cs.SD eess.AS
A Framework for Robust Speaker Verification in Highly Noisy Environments Leveraging Both Noisy and Enhanced Audio
针对高噪声环境下说话人验证性能下降及语音增强可能扭曲说话人信息的问题,提出基于孪生架构结合带噪与增强语音嵌入的轻量框架,提升验证鲁棒性且兼容多种先进技术,实验证明其性能更优。
2025-08-26 eess.AS
MetricGAN-U: Unsupervised speech enhancement/ dereverberation based only on noisy/ reverberated speech
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Mila-Quebec AI Institute(米拉-魁北克人工智能研究院);Microsoft(微软)
大多数基于深度学习的语音增强模型都是以监督的方式学习的,这意味着在训练期间需要成对的噪声和干净语音。因此,日常生活中记录的几个嘈杂的语音不能用于训练模型。虽然某些无监督学习框架也被提出来解决对约束,但它们仍然需要干净的语音或噪声进行训练。因此,在本文中,我们提出了MetricGAN-U,它代表MetricGAN-unsupervised,以进一步释放传统无监督学习的约束。在MetricGAN-U中,通过优化非侵入式语音质量指标,仅需要带噪语音来训练模型。实验结果验证了MetricGAN-U在客观和主观指标上都优于基线。
2021-10-12 cs.CL cs.SD eess.AS
Direction of Arrival Estimation of Noisy Speech Using Convolutional Recurrent Neural Networks with Higher-Order Ambisonics Signals
在估计语音/声音信号的到达波达方向时,在一阶高保真度立体声响复制信号上训练卷积递归神经网络是众所周知的方法。在这项工作中,我们研究了将高保真度立体声复制的阶数增加到四阶是否会进一步提高卷积递归神经网络的估计性能。虽然我们对基于模拟空间房间脉冲响应的数据的结果表明,使用更高的高保真度立体声响复制阶数确实有可能提供更好的定位结果,但对基于从二阶开始的真实空间房间脉冲响应的数据没有进一步的改进。相反,从原始数据中提取有意义的特征似乎至关重要。从声强矢量得到的一阶特征在几乎所有情况下都优于纯高阶幅度和相位特征。
2021-05-06 eess.AS
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University(哈利法大学);Mohammed VI Polytechnic University(穆罕默德六世理工大学);University of Sharjah(沙迦大学)
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法,将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件,从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法,使用预先训练的深度神经网络掩码和语音VGG,在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能,在瑞尔森视听数据集(RAVDESS)、模拟和实际压力下的语音数据集(SUSAS)和阿拉伯口音语音数据集(ESD)上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
F0-based Gammatone Filtering for Intelligibility Gain of Acoustic Noisy Signals
本文提出了一种时域方法,以提高语音清晰度在嘈杂的情况下。在该方法中,采用一系列的伽玛通滤波器来检测语音的谐波成分。滤波器输出经过放大以强调第一谐波,从而减少声学噪声的掩蔽效应。建议GTFF 0解决方案和两个基线技术进行检查,考虑四个背景噪声具有不同的非平稳度。采用ESTOI、ESII和ASIIST三种可懂度指标进行客观评价。实验结果表明,该方案导致表达语音可懂度增益相比,竞争的方法。此外,PESQ和WSS的客观分数表明,所提出的技术也提供了有趣的质量改进。
2020-12-15 eess.AS
DENT-DDSP: Data-efficient noisy speech generator using differentiable digital signal processors for explicit distortion modelling and noise-robust speech recognition
Nanyang Technological University(南洋理工大学)
自动语音识别(ASR)系统在噪声环境下性能会急剧下降。显式失真建模(EDM),作为一个特征补偿步骤,能够增强ASR系统在这种条件下,通过模拟域中的噪声语音从干净的同行。然而,现有的失真模型要么是不可训练的或不可解释的,往往缺乏可控性和泛化能力。在本文中,我们提出了一个完全可解释和可控的模型:DENT-DDSP实现电火花加工。DENT-DDSP采用新颖的可微分数字信号处理(DDSP)组件,仅需10秒的训练数据即可实现高保真度。实验表明,从DENT-DDSP的模拟噪声数据达到最高的模拟保真度相比,其他基线模型的多尺度谱损失(MSSL)。此外,为了验证DENT-DDSP模拟的数据是否能够替代噪声鲁棒ASR任务中稀缺的域内噪声数据,使用模拟数据和真实数据训练具有相同架构的多个下游ASR模型。实验结果表明,用DENT-DDSP模拟噪声数据训练的模型与基准模型在字错误率(WER)方面相差2.7%,取得了相似的性能。模型的代码在网上发布。
2022-08-01 cs.SD eess.AS
Improving Speech Recognition on Noisy Speech via Speech Enhancement with Multi-Discriminators CycleGAN
University of Stuttgart(斯图加特大学)
本文介绍了我们最新的研究,提高自动语音识别的噪声语音通过语音增强。我们提出了一种新的方法称为多鉴别器CycleGAN,以减少输入语音的噪声,从而提高自动语音识别的性能。我们提出的方法利用CycleGAN框架进行语音增强,而不需要任何并行数据,并通过引入多个鉴别器来检查不同的频率区域来改进它。此外,我们表明,在训练数据的同质子集上训练多个生成器优于在所有训练数据上训练一个生成器。我们在CHiME-3数据集上评估了我们的方法,并在开发集上观察到高达10.03%的相对WER改善,在评估集上观察到高达14.09%。
2021-12-12 cs.CL cs.SD eess.AS
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了连续噪声语音识别使用连接主义时间分类(CTC)模型在有限的中文词汇使用脑电(EEG)特征,没有语音信号作为输入,我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征,没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果,并且我们在本文中提出了一种新的深度学习架构,该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University(东南大学);Centre de Recherche en Information Biomédicale Sino-français (CRIBs)(中法生物医学信息研究中心);The 28th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第二十八研究所);Univ Rennes(雷恩大学)
在传统的语音去噪任务中,通常使用干净的音频信号作为训练目标,但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点,我们提出了一个端到端的自监督语音去噪训练方案,只使用嘈杂的音频信号,名为Only-Noisy Training(ONT),没有额外的训练条件。该策略仅从单个噪声音频中构造训练对,包含两个模块:训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对,然后送入一个新的复值语音去噪模块。实验结果表明,该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性,而且与其他训练策略相比,其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin(德克萨斯大学奥斯汀分校脑机接口实验室)
在本文中,我们展示了端到端的连续语音识别(CSR)使用脑电图(EEG)信号,没有语音信号作为输入。实现了基于注意模型的自动语音识别(ASR)和基于连接主义时间分类(CTC)的ASR系统,用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Direct Noisy Speech Modeling for Noisy-to-Noisy Voice Conversion
Nagoya University(名古屋大学)
除了在不改变语言内容的情况下转换说话者信息的常规语音转换(VC)之外,背景声音是信息性的并且需要在一些真实世界场景中保留,诸如电影/视频中的VC和音乐中的VC,其中语音与背景声音纠缠在一起。作为一个新的VC框架,我们已经开发了一个噪声到噪声(N2 N)VC框架转换扬声器的身份,同时保留背景声音。虽然我们的框架包括一个去噪模块和一个VC模块很好地处理背景声音,VC模块是敏感的去噪模块造成的失真。为了解决这个失真问题,在本文中,我们提出了改进的VC模块直接建模的噪声语音波形,同时控制背景声音。实验结果表明,我们改进的框架显着优于以前的一个,并达到了可接受的分数在自然度方面,同时达到可比的相似性性能的上限,我们的框架。
2021-11-13 cs.SD eess.AS
Ring Mixing with Auxiliary Signal-to-Consistency-Error Ratio Loss for Unsupervised Denoising in Speech Separation
Human Language Technology Center of Excellence Johns Hopkins University(约翰霍普金斯大学人类语言技术卓越中心);Language Technologies Institute Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文提出环混合策略和SCER损失,通过打破对称性提升语音分离的去噪能力,在WHAM!基准上实现残余噪声降低超过一半。
2026-09-16 eess.AS
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition
Microsoft(微软)
用于自动语音识别(ASR)的自监督学习(SSL)的目标是从大量未标记的语音中学习良好的语音表示以用于下游的ASR任务。然而,大多数SSL框架没有考虑噪声鲁棒性,这对现实世界的应用至关重要。在本文中,我们提出了wav 2 vec-Switch,一种通过对比学习将噪声鲁棒性编码到语音的上下文表示中的方法。具体来说,我们将原始噪声语音对同时输入wav 2 vec 2.0网络。除了现有的对比学习任务,我们切换的量化表示的原始和嘈杂的语音作为额外的预测目标。通过这样做,它强制网络对原始语音和噪声语音进行一致的预测,从而允许学习具有噪声鲁棒性的上下文表示。我们对合成和真实噪声数据的实验表明,我们的方法的有效性:它实现了2.9- 4.9%的相对字出错率(WER)减少对合成的噪声LibriSpeech数据,而不恶化的原始数据,和5.7%的CHiME-4真正的1通道噪声数据相比,数据增强基线,即使有一个强大的语言模型解码。我们在CHiME-4上的结果可以匹配甚至超过那些设计良好的语音增强组件。
2022-01-26 cs.CL cs.LG cs.SD
Noisy Disentanglement with Tri-stage Training for Noise-Robust Speech Recognition
Shanghai Engineering Research Center of Intelligent Education and Bigdata(智能教育与大数据上海工程研究中心);Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound AI技术有限公司)
针对低信噪比下语音识别性能下降问题,提出基于Conformer-Transducer的NoisyD-CT三阶段训练框架,通过紧凑型噪声解耦模块与双损失约束实现噪声抑制,在多数据集上显著降低词错误率且保持干净语音性能。
2025-09-01 cs.SD eess.AS
Modeling of Teager Energy Operated Perceptual Wavelet Packet Coefficients with an Erlang-2 PDF for Real Time Enhancement of Noisy Speech
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
为了实现带噪语音的实时增强,提出了一种基于Erlang-2 PDF对带噪语音和噪声的Teager能量(TE)感知小波包(PWP)系数建模的阈值确定方法。所提出的方法是计算速度远远快于现有的基于小波包的阈值方法。一个自定义的阈值功能的基础上的组合的μ-法律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。所提出的自定义阈值函数基于PWP变换的带噪语音的子带中语音存在和不存在的概率作为μ律或半软阈值函数或它们的组合工作。利用NOIZEUS数据库中的语音文件,对高斯白噪声和街道噪声环境下的语音信号进行了仿真,并对所提方法的性能进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的SNR在标准的客观措施和主观评价,包括正式的听力测试。
2018-02-09 cs.SD eess.AS
On monoaural speech enhancement for automatic recognition of real noisy speech using mixture invariant training
University of Sheffield(谢菲尔德大学);Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室)
在本文中,我们探讨了一个改进的框架,训练单耳神经增强模型的鲁棒语音识别。所设计的训练框架扩展了现有的混合不变训练标准,以利用未配对的干净语音和真实的噪声数据。研究发现,不成对的纯净语音是提高从实际噪声中分离出的语音质量的关键。所提出的方法还执行处理和未处理的信号的再混合,以减轻处理伪影。在单通道CHiME-3真实测试集上的实验表明,该方法在语音识别性能方面明显优于在非监督方式下训练的增强系统,无论是在不匹配的模拟数据上训练,还是在匹配的真实数据上训练。与使用端到端和混合声学模型的未处理信号相比,所提出的系统已经实现了16%至39%的相对WER降低,而无需对失真数据进行再训练。
2022-09-20 cs.CL cs.SD eess.AS
Speech-dependent Data Augmentation for Own Voice Reconstruction with Hearable Microphones in Noisy Environments
本文针对噪声环境下耳戴式设备自声重建训练数据不足的问题,提出基于语音依赖自声传递特性模型的数据增强方法,利用少量录制信号模拟大量自声数据,实验证明其性能优于其他增强方法,且微调可进一步提升效果。
2024-05-19 eess.AS
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);OriginAI
针对单麦克风含噪语音分离问题,提出一种基于扩散模型的无监督音视频分离方法,通过显式建模语音与噪声分布并利用逆向扩散过程采样,在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS
Identifying and Calibrating Overconfidence in Noisy Speech Recognition
针对Whisper等ASR模型在噪声下过度自信的问题,提出轻量级后处理校准框架,通过选择性温度缩放降低ECE 58%并提升NCE三倍。
2025-09-08 eess.AS
VeRe-Flow: Guiding Flow Matching toward Clean Speech via Velocity Contrastive Regularization and Representation Alignment for Noise-Robust Bandwidth Expansion
MAGO, South Korea(MAGO);KAIST, South Korea(韩国科学技术院)
提出VeRe-Flow框架,通过速度对比正则化和表示对齐,在噪声环境下引导流匹配生成干净语音,实现鲁棒带宽扩展,在LSD、DNSMOS和MOS指标上达到最优。
2026-06-28 eess.AS
DASH: Dual-View Self-Distillation with Multi-Layer Hidden Representations for Robust Speech Recognition
Sogang University(西江大学)
提出DASH自蒸馏框架,通过双视角学习干净-噪声一致性,从多层编码器蒸馏隐藏表示并最小化原型分配分布的KL散度,在保持干净准确率的同时提升噪声鲁棒性,额外开销仅约微调时间的4%。
2026-06-18 eess.AS
Multi-Level Knowledge Distillation for Speech Emotion Recognition in Noisy Conditions
Qingdao University of Science and Technology(青岛科技大学);National Institute of Information and Communications Technology(国立信息通信研究机构);Tianjin University(天津大学)
针对噪声条件下语音情感识别性能下降的问题,提出多级知识蒸馏方法,将干净语音训练的教师模型知识迁移至噪声语音训练的学生模型,在IEMOCAP数据集上取得优于现有模型的结果。
2023-12-21 cs.SD eess.AS
Speech Enhancement-assisted Voice Conversion in Noisy Environments
National Yang Ming Chiao Tung University(国立阳明交通大学);Yuan Ze University(元智大学);Academia Sinica(中央研究院)
已经提出了许多语音转换(VC)技术用于不同说话者之间的语音转换。虽然当VC应用在干净的环境中时,可以观察到转换后的语音的良好质量,但是当系统运行在噪声条件下时,质量急剧下降。为了解决这个问题,我们提出了一种新的语音增强(SE)辅助VC系统,利用SE技术的信号预处理,其中VC和SE组件进行优化,在一个联合的训练策略,目的是提供高质量的转换后的语音信号。我们采用了流行的模型,StarGAN,作为VC组件,因此调用EStarGAN的组合系统。我们使用普通话语音语料库测试了所提出的EStarGAN系统。实验结果首次验证了EStarGAN中联合训练策略的有效性。此外,EStarGAN在各种看不见的噪声环境中表现出性能稳健性。主观听力测试结果进一步表明,EStarGAN可以提高从噪声污染的源话语转换的语音信号的声音质量。
2023-01-19 cs.SD eess.AS
Harmonic and non-Harmonic Based Noisy Reverberant Speech Enhancement in Time Domain
Military Institute of Engineering (IME)(军事工程学院)
本文介绍了一种在噪声-混响条件下同时提高语音清晰度和质量的单步时域方法HnH-NRSE。在这个解决方案中,谐波和非谐波成分的语音分离应用过零和能量标准。客观评价其非平稳程度进一步用于自适应增益处理掩蔽成分。这种技术不需要语音统计或房间信息的先验知识。此外,两个组合的解决方案,IRMO和IRMN,提出了作为复合方法,改善有噪混响语音信号。建议和基线方法进行评估,考虑两个可懂度和三个质量指标,适用于客观预测。结果表明,所提出的方案导致更高的可懂度和质量的改善相比,竞争的方法在大多数情况下。此外,进行了感知可懂度听力测试,这证实了这些结果。此外,所提出的HnH-NRSE解决方案达到SRMR质量措施与类似的结果相比,组成IRMO和IRMN技术。
2021-12-09 cs.SD eess.AS
A Multi-Stage Triple-Path Method for Speech Separation in Noisy and Reverberant Environments
Xi'an Jiaotong University(西安交通大学);Du Xiaoman(度小满)
在嘈杂和混响的环境中,基于深度学习的语音分离方法的性能急剧下降,因为以前的方法没有针对这种情况进行设计和优化。为了解决这个问题,我们提出了一种多阶段的端到端学习方法,将噪声和混响环境中的语音分离问题分为三个子问题:语音去噪,分离和去混响。通过缩小解空间,提高了语音分离模型搜索最优解的概率和速度。此外,由于在时域中的音频序列的信道信息是至关重要的语音分离,我们提出了一个三路径结构,能够建模的音频序列的信道维数。实验结果表明,本文提出的多阶段三径方法可以以较小的模型参数增量为代价提高语音分离模型的性能。
2023-03-07 cs.LG cs.SD eess.AS
Enhancement of Noisy Speech with Low Speech Distortion Based on Probabilistic Geometric Spectral Subtraction
Texas A M University(德州农工大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Concordia University(康考迪亚大学)
提出了一种基于概率几何谱减法(PGA)的短时幅度谱语音增强方法。该方法在增益函数中引入噪声估计的置信度参数,避免了噪声估计的高估和低估,既有效地去除了噪声,又防止了语音失真。然后,在合成增强帧之前,将噪声补偿幅度谱与未改变的相位谱重新组合以产生修改的复谱。广泛的模拟进行使用的语音文件在NOIZEUS数据库中,以评估所提出的方法的性能。
2018-02-13 cs.SD eess.AS
Learning Noise-independent Speech Representation for High-quality Voice Conversion for Noisy Target Speakers
Tencent AI Lab(腾讯人工智能实验室)
构建一个语音转换系统的嘈杂的目标扬声器,如用户提供嘈杂的样本或互联网上找到的数据,是一个具有挑战性的任务,因为在模型训练中使用污染的语音将明显降低转换性能。在本文中,我们利用我们最近提出的Glow-WaveGAN的进步,并提出了一个独立于噪声的语音表示学习方法,用于高质量的语音转换嘈杂的目标扬声器。具体来说,我们学习一个潜在的特征空间,在这里我们确保转换模型建模的目标分布完全来自波形发生器的建模分布。在此前提下,我们进一步设法使潜在特征是噪声不变的。具体来说,我们介绍了一个噪声可控的WaveGAN,它直接学习噪声独立的声学表示波形的编码器和进行噪声控制在隐藏空间通过一个电影模块在解码器。至于转换模型,重要的是,我们使用一个基于流的模型来学习分布的噪声无关,但说话人相关的潜在功能,从音素后验图。实验结果表明,该模型在含噪目标说话人的语音转换中具有较高的语音质量和说话人相似度。
2022-07-02 cs.SD eess.AS
A Training and Inference Strategy Using Noisy and Enhanced Speech as Target for Speech Enhancement without Clean Speech
North Co., Ltd.(北方有限公司);Academia Sinica(中央研究院)
针对纯净语音缺乏导致训练准则与评估指标不匹配的问题,提出一种改进含噪目标训练(NyTT)的训练与推理策略,通过重新混合教师模型估计的语音和噪声来训练学生模型,实验证明该方法优于多个基线,尤其在教师/学生推理中表现突出。
2023-05-22 cs.AI cs.CL cs.LG
Enhancement of Noisy Speech exploiting a Gaussian Modeling based Threshold and a PDF Dependent Thresholding Function
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种语音增强方法,该方法通过对含噪语音的Teager能量(TE)感知小波包(PWP)系数进行高斯建模,统计确定自适应阈值。为了获得增强的语音,由此导出的阈值通过采用高斯pdf相关的自定义阈值函数来应用于PWP系数,该自定义阈值函数是基于修改的硬阈值函数和半软阈值函数的组合来设计的。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法被发现优于一些国家的最先进的语音增强方法,不仅在高,而且在低水平的SNR的意义上的标准的客观措施和主观评价,包括正式的听力测试。
2018-03-03 cs.SD eess.AS
Visual-Aware Speech Recognition for Noisy Scenarios
IIIT-Hyderabad(印度国际信息技术学院海得拉巴分校);Whissle Inc.(惠斯勒公司)
本文提出一种利用环境视觉线索与噪声源关联来改进噪声场景语音转录的模型,通过重新利用预训练语音和视觉编码器并结合多头注意力,显著优于纯音频模型。
2025-04-09 cs.CL eess.AS eess.SP
WHAMR!: Noisy and Reverberant Single-Channel Speech Separation
MERL(三菱电机研究实验室)
虽然在重叠语音信号的分离方面已经取得了重大进展,但研究在很大程度上限于干净的、接近消声的语音的混合,而不是许多真实世界场景的代表。虽然WHAM!数据集将噪声引入到无处不在的WSJ 0 - 2 Mix数据集,它不包括混响,混响通常存在于录音室外的室内录音中。混响引起的频谱拖尾可能导致标准的基于深度学习的语音分离系统的显著性能下降,该系统依赖于频谱结构和语音信号的稀疏性来梳理分离源。为了解决这个问题,我们推出了WHAMR!,一个增强版的WHAM!与合成混响源,并提供了一个彻底的基线分析,目前的技术,以及新的级联架构的新引进的条件。
2020-02-14 cs.SD eess.AS
AV Speech Enhancement Challenge using a Real Noisy Corpus
Edinburgh Napier University(爱丁堡龙比亚大学);University of Wolverhampton(伍尔弗汉普顿大学);University of Stirling(斯特林大学);Sonova AG(索诺瓦公司)
本文首次提出了在真实噪声环境中的视听(AV)语音增强挑战。详细描述的AV挑战,一个新的真正嘈杂的AV语料库(ASPIRE),基准语音增强任务,和基线性能结果进行了概述。后者基于在Grid语料库和ChiME3噪声(包括公共汽车、行人、咖啡馆和街道噪声)的合成混合物上训练深度神经架构,并在ASPIRE语料库上进行测试。五种不同的语音增强算法(包括SEAGN,谱减法(SS),对数最小均方误差(LMMSE),音频只CochleaNet,AV CochleaNet)的主观评价作为基线结果。多模态挑战的目的是提供一个及时的机会,全面评估新的AV语音增强算法,使用我们的新基准,真实的噪音AV语料库和指定的性能指标。这将促进全球音视频语音处理研究,刺激新的突破性多模态方法,并吸引从事音视频语音技术和应用的公司、学者和研究人员的兴趣。我们鼓励来自语音和听力研究社区的参与者(通过挑战网站注册),从他们对噪声处理中的AV语音的补充方法中受益。
2019-09-30 cs.LG cs.SD eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering(军事工程学院)
本文提出了一种新的盲声掩模(BAM)设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息,以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外,该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法,理想的二进制掩码(IBM),目标二进制掩码(TBM),和非平稳噪声估计语音增强(NNESE),考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比(SNR)进行评估。结果表明,BAM技术实现可懂度增益与理想的面具,同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Lightweight Speech Enhancement in Unseen Noisy and Reverberant Conditions using KISS-GEV Beamforming
Stratégie Agilean inc.(Stratégie Agilean公司)
本文介绍了一种新的波束形成方法,称为KISS-GEV(保持超简单广义特征值)。虽然GEV波束形成通常依赖于深度神经网络来估计目标和噪声时频掩模,但该方法使用基于目标的波达方向(DoA)的信号处理方法。这大大减少了测试时所涉及的计算量,并在看不见的条件下进行语音增强,因为不需要用嘈杂的语音训练神经网络。所提出的方法也可以用于从混合物中分离语音,只要语音源来自不同方向。结果还表明,该方法使用相同的最小DoA的延迟和求和波束形成的假设,但优于这种传统的方法。
2021-10-10 cs.SD eess.AS eess.SP
Joint Training of Speech Enhancement and Self-supervised Model for Noise-robust ASR
National Engineering Research Center of Speech and Language Information Processing(语音及语言信息处理国家工程研究中心);University of Science and Technology of China(中国科学技术大学)
语音增强(speech enhancement,SE)通常被用作噪声环境中改善语音质量的前端,而增强后的语音由于语音失真而可能不适合于自动语音识别(automatic speech recognition,ASR)系统。另一方面,研究表明,自监督预训练可以利用大量未标记的噪声数据,这对ASR的噪声鲁棒性非常有益。然而,SE和自我监督预训练的(最佳)整合潜力仍然不清楚。为了找到一个合适的组合,并减少由SE造成的语音失真的影响,因此,在本文中,我们提出了一种联合预训练方法的SE模块和自监督模型。首先,在预训练阶段,原始噪声波形或通过SE获得的波形被馈送到自监督模型中以学习上下文表示,其中量化的干净语音充当目标。其次,我们提出了一种双注意力融合方法来融合噪声和增强语音的特征,它可以补偿单独使用单个模块所造成的信息损失。由于对干净/有噪声/增强分支的灵活利用,所提出的方法被证明是一些现有的噪声鲁棒ASR模型的推广,例如,增强的wav2vec2.0。最后,在合成和真实噪声数据集上的实验结果表明,该联合训练方法可以提高ASR在各种噪声环境下的性能,具有更强的噪声鲁棒性。
2022-05-26 cs.SD eess.AS
Parameter Enhancement for MELP Speech Codec in Noisy Communication Environment
Search Solutions Inc.(搜索解决方案公司);Yonsei University(延世大学)
在本文中,我们提出了一种基于深度学习(DL)的参数增强方法,用于噪声通信环境中的混合激励线性预测(MELP)语音编解码器。与传统的语音增强模块不同,传统的语音增强模块被设计成通过在语音编解码器处理之前去除噪声分量来获得干净的语音信号,所提出的方法直接增强编码器或解码器侧的编解码器参数。由于所提出的方法已经由小型网络实现而不需要传统增强系统中所需的任何附加过程,时频(T-F)分析/综合模块,其计算复杂度非常低。通过增强噪声破坏的编解码器参数与建议的DL框架,我们实现了一个增强系统,这是更简单和更快的比传统的基于T-F掩码的语音增强方法,而其性能的质量保持相似。
2019-06-20 cs.SD eess.AS eess.SP
Noise-robust Speech Recognition with 10 Minutes Unparalleled In-domain Data
Nanyang Technological University(南洋理工大学);Air Traffic Management Research Institute(空中交通管理研究院)
抗噪语音识别系统需要大量的训练数据,包括带噪语音数据和相应的文本,以在各种实际环境中获得最佳性能。然而,如此大量的域内数据在现实世界中并不总是可用的。在本文中,我们提出了一个生成对抗网络来从干净的频谱(Simu-GAN)中模拟噪声频谱,其中只需要10分钟的无与伦比的域内噪声语音数据作为标签。此外,我们也提出了一个双路径语音识别系统,以提高系统在噪声条件下的鲁棒性。实验结果表明,所提出的语音识别系统实现了7.3%的绝对改善与模拟噪声数据的Simu-GAN在最佳基线方面的字出错率(WER)。
2022-03-29 cs.CL cs.SD eess.AS
DenoiSpeech: Denoising Text to Speech with Frame-Level Noise Modeling
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门)
虽然基于神经网络的文本转语音(TTS)模型可以合成自然、清晰的语音,但通常需要高质量的语音数据,采集成本很高,而且在很多场景下,只能获得目标说话人的带噪语音,这给该说话人的TTS模型训练带来了挑战。以前的工作通常使用两种方法来解决这一挑战:1)使用增强模型去噪的语音来训练TTS模型; 2)在使用带噪语音进行训练时,将单个噪声嵌入作为输入。然而,它们通常不能处理具有真实世界复杂噪声的语音,例如那些随时间变化很大的噪声。在本文中,我们开发了DenoiSpeech,一个TTS系统,可以合成干净的语音与嘈杂的语音数据的扬声器。在DenoiSpeech中,我们通过使用噪声条件模块对细粒度帧级噪声进行建模来处理真实世界的噪声语音,该噪声条件模块与TTS模型联合训练。在真实数据上的实验结果表明,DenoiSpeech的性能分别比前两种方法高出0.31和0.66 MOS。
2020-12-18 cs.SD eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
语音去混响的一种有前途的方法是基于监督学习,其中训练深度神经网络(DNN)以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识,并且很少明确地利用混响中的线性滤波器结构,即,该混响由房间脉冲响应(RIR)和干源信号之间的线性卷积产生。在这项工作中,我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号,然后识别作为估计的直接路径信号的衰减和延迟副本的信号,因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响,也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本,我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器(或RIR)。然后,我们修改所提出的算法,在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB,SMS-WSJ,和WHAMR!数据集。
2021-11-10 cs.SD eess.AS
Supervised Initialization of LSTM Networks for Fundamental Frequency Detection in Noisy Speech Signals
Universidad de Costa Rica(哥斯达黎加大学)
基频是人类语音最重要的参数之一,对于口音、性别、说话风格、说话人辨识、年龄等的分类具有重要意义。对于严重退化的信号,该参数的正确检测仍然是一个重要的挑战。在先前用于使用深度学习来检测噪声语音中的基频的参考文献中,诸如长短期记忆(LSTM)的网络已经用随机权重初始化,并且然后遵循通过时间算法的反向传播来训练。在这项工作中,提出了一个更有效的初始化的建议,基于监督训练使用自关联网络。该初始化是用于检测噪声语音中的基频的更好的起点。这种初始化的优点是显而易见的,使用客观的测量的检测精度和训练的网络,在不同的信号噪声水平的加性白噪声的存在下。
2019-11-11 cs.LG cs.SD eess.AS
Improved Noisy Student Training for Automatic Speech Recognition
Google Inc.(谷歌公司)
最近,一种被称为“噪声学生训练”的半监督学习方法已被证明可以显着提高深度网络的图像分类性能。噪声学生训练是一种迭代的自我训练方法,它利用增强来提高网络性能。在这项工作中,我们适应和改进嘈杂的学生训练自动语音识别,采用(自适应)SpecAugment作为增强方法。我们找到了有效的方法来过滤,平衡和增强自训练迭代之间生成的数据。通过这样做,我们能够在干净/嘈杂的LibriSpeech测试集上获得4.2%/8.6%的单词错误率(WER),只使用LibriSpeech的干净100 h子集作为监督集,其余(860 h)作为未标记集。此外,通过使用LibriLight的unlab-60 k子集作为LibriSpeech 960 h的未标记集,我们能够在干净/嘈杂的LibriSpeech测试集上实现WER 1.7%/3.4%。因此,我们能够改进之前在LibriSpeech 100 h(4.74%/12.20%)和LibriSpeech(1.9%/4.1%)上实现的最先进的清洁/噪声测试WER。
2020-10-29 cs.LG eess.AS
Enroll-on-Wakeup: A First Comparative Study of Target Speech Extraction for Seamless Interaction in Real Noisy Human-Machine Dialogue Scenarios
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound人工智能技术有限公司)
提出Enroll-on-Wakeup框架,利用唤醒词片段作为注册参考,无需预录语音,实现无缝交互;首次系统比较了判别式和生成式模型在真实噪声条件下的性能,并探索了基于LLM的TTS注册增强。
2026-06-08 cs.SD eess.AS
Improving Prosody for Unseen Texts in Speech Synthesis by Utilizing Linguistic Information and Noisy Data
DiDi Chuxing(滴滴出行)
端到端语音合成的最新进展使得生成高度自然的语音成为可能。然而,训练这些模型通常需要大量的高保真语音数据,并且对于看不见的文本,合成语音的韵律相对不自然。为了解决这些问题,我们建议将微调的基于BERT的前端与预训练的基于FastSpeech2的声学模型相结合,以改善韵律建模。预训练的BERT在多任务学习框架中的多音字消歧任务、联合中文分词(CWS)和词性(POS)标注任务以及韵律结构预测(PSP)任务上进行微调。FastSpeech 2是在大规模外部数据上进行预训练的,这些数据虽然嘈杂,但更容易获得。实验结果表明,无论是微调后的BERT模型还是预训练后的FastSpeech 2都能提高韵律,尤其是对于结构复杂的句子。
2021-11-15 cs.CL cs.SD eess.AS
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果,发现其错误覆盖音系到句法层,并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
Towards Real-Time Single-Channel Speech Separation in Noisy and Reverberant Environments
McGill University(麦吉尔大学);CIRMMT(跨学科音乐媒体与技术中心);Microsoft Research(微软研究院)
本文提出一种低复杂度、资源高效的因果DNN级联架构,依次完成噪声抑制、分离和去混响,实现嘈杂混响环境下两个及以上说话人的实时单通道语音分离,性能可与大型离线模型SepFormer相媲美。
2023-04-17 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本文提出基于ARN时间域增强模型,将语音增强与仅在干净语音上训练的声学模型解耦,在CHiME-2上实现6.28%词错误率,相对提升19.3%。
2023-06-21 cs.SD eess.AS
Does Speech enhancement of publicly available data help build robust Speech Recognition Systems?
Stony Brook University(石溪大学);Nokia Bell Labs(诺基亚贝尔实验室)
自动语音识别(ASR)系统在包括语音助理在内的许多商业产品中起着关键作用。通常,它们需要大量干净的语音数据进行训练,这给拥有大量私人数据的大型组织带来了不适当的优势。在本文中,我们首先使用公开的数据源管理了一个相当大的数据集。此后,我们试图研究是否可以使用公开的噪声数据来训练鲁棒的ASR系统。我们首先使用语音增强来清除噪声数据,然后将其与其清除版本一起用于训练ASR系统。我们发现,使用语音增强比只在有噪声的数据上训练的单词错误率高9.5%,比只在干净的数据上训练的单词错误率高9%。它的性能也可以与在嘈杂和干净版本上训练时的理想情况相媲美。
2019-11-20 cs.CL cs.SD eess.AS