Phoneme-Based Ratio Mask Estimation for Reverberant Speech Enhancement in Cochlear Implant Processors
Duke University(杜克大学)
耳蜗植入体(CI)用户在混响听音环境中理解语音有相当大的困难。时频(T-F)掩蔽是旨在通过将混响语音乘以增益值矩阵以抑制由混响主导的T-F仓来提高语音可懂度的常用技术。最近提出的掩模估计算法利用机器学习方法来区分目标语音和混响反射。然而,语音的频谱-时间结构是高度可变的,并且依赖于潜在的音素。潜在地克服这种可变性的单向式方法是在掩码估计期间利用音素信息的明确知识。本研究提出一种以音素为基础的遮罩估测演算法,针对每一音素分别训练遮罩估测模型。在正常听力的听众中进行句子识别测试,以确定基于音素的掩码估计算法在音素的完美知识可用的理想情况下是否有益。结果表明,与传统的音素无关的面具相比,基于音素的面具提高了声码语音的可懂度。研究结果表明,音素为基础的语音增强策略可能有利于CI用户在混响听环境。
2021-05-28 cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University(约翰斯·霍普金斯大学)
基于双向长短期记忆(BLSTM)神经网络的谱掩模估计已广泛应用于各种语音增强应用中,并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而,当这些掩模用于单通道语音增强时,它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合,使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Leveraging Phone Mask Training for Phonetic-Reduction-Robust E2E Uyghur Speech Recognition
Xinjiang University(新疆大学);Tencent Minority-Mandarin Translation(腾讯少数民族-普通话翻译部门)
维吾尔语语音中经常会遇到辅音和元音的压缩,特别是在高速率的自发语音中,这会导致语音识别性能的下降。针对这一问题,本文提出了一种有效的音素模板训练方法,用于基于Conformer的维吾尔语端到端(E2 E)语音识别。其思想是在模型训练过程中随机屏蔽一定比例的手机特征,模拟上述言语现象,便于E2 E模型学习更多的上下文信息。根据实验,上述问题可以大大缓解。此外,对不同的掩蔽单元进行了深入的研究,这表明了我们提出的掩蔽单元的有效性。本文还进一步研究了手机蒙版的遮盖方法和优化填充策略。最后,与没有模板训练的基于Conformer的E2 E基线相比,我们的模型在阅读语音和自发语音上分别表现出约5.51%和12.92%的相对字出错率(WER)降低。在开放源数据THUYG-20的测试集上验证了上述方法,结果显示相对于传统方法有20%的改进。
2022-04-02 cs.SD eess.AS
Binaural Speech Enhancement Using STOI-Optimal Masks
STOI最优掩蔽先前已被提出并开发用于单通道语音增强。在本文中,我们认为扩展到双耳语音增强的任务,其中空间信息是已知的语音理解是重要的,因此应该保留的增强处理。分别为每个双耳通道估计掩模,并通过选择两个掩模中的最大值来计算“更好的耳听”掩模。估计的掩模被用来提供概率信息的语音存在,在每个时间-频率箱的最佳修改的对数频谱幅度(OM-LSA)增强器。我们表明,使用所提出的方法与方向性噪声的双耳信号不仅提高了噪声信号的信噪比,但也保留了双耳线索和可懂度。
2022-09-30 eess.AS eess.SP
Region-Aware Masking for Accent-Robust Cross-Lingual Text-to-Speech
针对跨语言TTS口音泄漏,提出区域感知掩码,仅改变掩码位置即可大幅降低口音,且不损可懂度与自然度。
2026-10-07 eess.AS
Mask-dependent Phase Estimation for Monaural Speaker Separation
说话人分离是指在多说话人环境中分离感兴趣的语音。大多数方法将实值时频(T-F)掩模应用于混合短时傅里叶变换(STFT)来重建干净的语音。因此,在重建的相位和干净语音的原始相位之间存在不可避免的失配。在本文中,我们提出了一个简单而有效的相位估计网络,预测的基础上由嵌合体++网络预测的T-F掩模的干净的语音的相位。为了克服T-F掩模和相位的标签置换问题,我们提出了一种依赖于掩模的置换不变训练(PIT)准则,以基于T-F掩模预测的损失来选择相位信号。我们还提出了一个用于相位预测的逆掩模加权损失函数,将模型集中在相位更难以预测的T-F区域。WSJ 0 - 2 mix数据集上的结果表明,相位估计网络的性能与使用迭代相位重建或端到端时域损失函数的模型相当,但方式更直接。
2020-04-15 eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering(军事工程学院)
本文提出了一种新的盲声掩模(BAM)设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息,以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外,该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法,理想的二进制掩码(IBM),目标二进制掩码(TBM),和非平稳噪声估计语音增强(NNESE),考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比(SNR)进行评估。结果表明,BAM技术实现可懂度增益与理想的面具,同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Acoustic effects of medical, cloth, and transparent face masks on speech signals
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
戴口罩会妨碍说话,使交流更加困难,尤其是对听力损失的人。本研究使用一个头状扬声器和一个真人谈话者,研究了不同口罩(包括医用口罩、布口罩和透明口罩)引起的声衰减。结果表明,所有的面具衰减频率超过1千赫,衰减是最大的前面的谈话者,有很大的变化之间的面具类型,特别是布面具与不同的材料和编织。与医用口罩和布口罩相比,透明口罩的声学性能较差。大多数面具对翻领麦克风的影响很小,这表明现有的声音增强和辅助听力系统可能对面具的口头交流有效。
2020-08-11 cs.SD eess.AS
Classification of Speech with and without Face Mask using Acoustic Features
Department of Electrical and Computer Engineering National University of Singapore(新加坡国立大学电气与计算机工程系)
言语的理解和解释会受到各种外部因素的影响。口罩的使用就是这样一个因素,它会在交流时造成言语障碍。这可能导致语音处理的退化并影响人类的感知。知道说话者是否戴着面具可能对针对不同应用建模语音有用。有了这个动机,从给定的演讲中找出说话者是否戴着面具被列为计算副语言学评估(ComparE)2020的一项任务。我们研究了基于线性滤波器组、瞬时相位和长期信息的新的声学特征,这些特征可以捕获用于有和没有面罩的语音分类的伪影。这些声学特征与CompParE 2020的CompParE泛函、音频词袋、DeepSpectrum和auDeep特征的最新基线一起使用。这些研究揭示了声学特征的有效性,并且它们与ComparE 2020基线的得分水平融合导致测试集上73.50%的未加权平均召回率。
2020-10-08 cs.SD eess.AS
Mask scalar prediction for improving robust automatic speech recognition
Google LLC(谷歌有限责任公司)
使用基于神经网络的声学前端来提高流式自动语音识别(ASR)系统的鲁棒性是具有挑战性的,因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好,但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中,我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式,在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法:多通道增强语音和非语音噪声的存在下,和声学回声消除(AEC)。结果表明,所提出的算法一致地提高了字错误率(WER),而不需要在使用手动调整的超参数的强基线上进行任何额外的调整:在噪声条件下多通道增强高达16%,AEC高达7%。
2022-04-26 cs.SD eess.AS
Neural Spatio-Temporal Beamformer for Target Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
基于神经网络的语音分离和增强方法虽然能取得较好的客观效果,但不可避免地会产生非线性语音失真,这对自动语音识别(ASR)是有害的。另一方面,最小方差无失真响应(MVDR)波束形成器与NN预测的面具,虽然可以显着减少语音失真,具有有限的降噪能力。在本文中,我们提出了一个多抽头MVDR波束形成器与复值掩模语音分离和增强。与现有技术的基于NN掩模的MVDR波束形成器相比,除了现有技术中已经利用的麦克风间相关性之外,多抽头MVDR波束形成器还利用帧间相关性。进一步的改进包括用复值掩码替换实值掩码和复掩码NN的联合训练。对我们的多模态多通道目标语音分离和增强平台的评估表明,我们提出的多抽头MVDR波束形成器相对于现有技术提高了ASR准确性和感知语音质量。
2020-07-31 cs.SD eess.AS
Multichannel Loss Function for Supervised Speech Source Separation by Mask-based Beamforming
LINE Corporation(LINE公司)
在本文中,我们提出了两种基于掩模的波束形成方法,使用由多通道损失函数训练的深度神经网络(DNN)。使用由DNN估计的时频(TF)掩模的波束成形技术已经应用于TF掩模用于估计空间协方差矩阵的许多应用。为了训练用于基于掩码的波束成形的DNN,已经采用了为单声道语音增强/分离设计的损失函数。虽然这样的训练标准是简单的,但它并不直接对应于基于掩模的波束成形的性能。为了克服这个问题,我们使用多通道损失函数评估估计的空间协方差矩阵的基础上,多通道板仓斋藤分歧。由多通道损失函数训练的DNN可以被应用于构造多个波束形成器。实验结果证实了它们的有效性和鲁棒性麦克风配置。
2019-07-11 cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题,将其作为从语音增强到歌声分离的域适应,研究全量微调和LoRA参数高效微调策略,实验表明两种策略均有效提升歌声分离性能,LoRA微调还能保留语音增强能力,证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
Applying Speech Tempo-Derived Features, BoAW and Fisher Vectors to Detect Elderly Emotion and Speech in Surgical Masks
MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组);University of Szeged(塞格德大学)
2020年INTERSPEECH计算副语言学挑战赛(ComparE)由三个子挑战组成,其中的任务是识别老年人说话者的唤醒水平和效价,确定实际说话者是否戴着外科口罩,以及估计说话者的实际呼吸。在我们对挑战的贡献中,我们专注于老年人情绪和面具子挑战。除了利用标准或接近标准的功能,如ComparE泛函,Bag-of-Audio-Words和Fisher向量,我们利用情绪与语速(即语速)。为了利用这一点,我们使用ASR系统执行语音级识别,并从输出中提取特征,如发音节奏,语音节奏和测量停顿量的各种属性。我们还假设戴着外科口罩会让说话者感到不安,导致语速变慢和更多犹豫;因此,我们也在口罩子挑战中尝试了相同的功能。虽然这一理论并没有被面具子挑战的实验结果所证明,但在老年人情绪子挑战中,我们在开发集和交叉验证中都获得了这种特征类型的显著改善的唤醒和效价值。
2020-08-07 cs.CL cs.SD eess.AS
Unsupervised Face-Masked Speech Enhancement Using Generative Adversarial Networks With Human-in-the-Loop Assessment Metrics
针对佩戴口罩导致的语音质量下降问题,提出HL-StarGAN无监督增强方法,引入含人类评估的MaskQSS模块,在FMVD数据库上优于现有方法。
2024-07-20 eess.AS eess.SP
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology(格拉茨技术大学);Ruperts Karls University(海德堡大学)
虽然机器学习技术传统上是资源密集型的,但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中,我们提供了一种基于深度神经网络(DNN)的多通道语音增强的资源高效方法。特别是,我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应(MVDR)或广义特征值(GEV)波束形成器。在二进制权重和精度降低的激活的极端情况下,可以显著减少执行时间和内存占用,同时仍然获得几乎与单精度DNN相当的音频质量,并且使用WSJ0语音语料库的单个说话者场景的字错误率(WER)略高。
2020-07-22 cs.LG cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology(南方科技大学);Microsoft China(微软中国)
机器语音链将端到端(E2 E)自动语音识别(ASR)和文本到语音(TTS)集成到一个循环中进行联合训练,已被证明可以有效地利用大量未配对数据进行数据增强。在本文中,我们探索语音链中的TTS->ASR管道,对神经TTS和E2 E ASR模型进行领域自适应,仅使用来自目标域的文本数据。我们进行了实验,通过适应从有声读物域(LibriSpeech)到呈现域(TED-LIUM),有一个相对的词出错率(WER)减少10%的E2 E ASR模型上的TED-LIUM测试集,和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外,我们通过以无监督的方式使用目标说话者的一些话语,对E2 E ASR应用Few-Shot说话者自适应,从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Beyond Token Revision: Investigating Mask-and-Replace Diffusion for Zero-Shot Text-to-Speech
KAIST(韩国科学技术院);The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所)
本研究通过DeMaR模型探究掩码-替换扩散训练在零样本语音合成中的收益,证明其优势源于训练侧噪声增强而非推理时修订,并在LibriTTS上取得更低词错误率。
2026-10-08 cs.SD eess.AS
Linear networks based speaker adaptation for speech synthesis
Alibaba Inc.(阿里巴巴公司)
说话人自适应方法的目标是在有限的资源下为目标说话人生成质量较好的合成语音。近年来,随着基于深度神经网络的统计参数语音合成(SPSS)方法在SPSS TTS后端建模中占据主导地位,基于SPSS框架的神经网络下的说话人自适应也成为一项重要任务。在本文中,线性网络(LN)被插入到多个神经网络层和微调与输出层的最佳扬声器自适应性能。当自适应数据非常小时,采用低秩加对角(LRPD)分解LN,使适应语音更稳定。说话人自适应实验在一定的自适应话语数范围内进行。此外,还研究了从1)女性到女性,2)男性到女性和3)女性到男性的说话人顺应。客观测量和主观测试表明,LN与LRPD分解表现最稳定时,适应数据是非常有限的,我们最好的说话人自适应(SA)模型只有200个自适应话语达到相当的质量与说话人相关(SD)模型训练1000话语,在自然度和目标说话人的相似性。
2018-03-05 cs.SD eess.AS
MAGE: A Coarse-to-Fine Speech Enhancer with Masked Generative Model
MAGE通过紧凑稳健的设计提升生成式语音增强效果,采用稀缺感知的粗到细掩码策略,结合轻量级校正模块,实现高效且高质量的语音增强,实验显示在DNS挑战和噪声LibriSpeech上取得最佳感知质量和更低的词错误率。
2026-03-13 cs.SD eess.AS
Components Loss for Neural Networks in Mask-Based Speech Enhancement
Institute for Communications Technology, Technische Universität Braunschweig(布伦瑞克工业大学通信技术研究所)
使用深度学习方法估计用于单通道语音增强的时频域掩模最近已成为一个热门的研究领域,并取得了可喜的成果。在本文中,我们提出了一种新的成分损失(CL)的神经网络的训练基于掩码的语音增强。在训练过程中,所提出的CL提供单独的控制保留的语音分量的质量,抑制的残留噪声分量,并保留一个自然的声音残留噪声分量。我们说明了潜在的建议CL通过评估一个标准的卷积神经网络(CNN)基于掩码的语音增强。新的CL获得了更好的和更平衡的性能,在几乎所有采用的仪器质量指标超过基线损失,后者包括传统的均方误差(MSE)的损失,也与语音相关的损失功能,如语音质量的感知评估(PESQ)损失和最近提出的感知加权滤波器损失。特别地,应用CL提供了更好的语音分量质量、更好的整体增强的语音感知质量以及听起来更自然的残余噪声。平均而言,对于所见的噪声类型,在增强语音上获得至少0.1点更高的PESQ分数,同时还获得超过0.5dB的更高SNR改善。这种改进对于看不见的噪声类型更强,其中获得了增强语音的约0.2点高的PESQ分数,同时输出SNR也领先超过0.5 dB。新提出的CL易于实现,代码可在https://github.com/ifnspaml/Components-Loss上提供。
2019-08-14 cs.SD eess.AS
Adaptation Algorithms for Neural Network-Based Speech Recognition: An Overview
University of Edinburgh(爱丁堡大学);JPMorgan Chase(摩根大通);Microsoft Corporation(微软公司);University of New South Wales(新南威尔士大学);Apple(苹果公司)
我们提出了一个结构化的基于神经网络的语音识别的自适应算法的概述,考虑混合隐马尔可夫模型/神经网络系统和端到端的神经网络系统,重点是说话人自适应,域自适应,和口音自适应。概述的特点自适应算法的基础上嵌入,模型参数自适应,或数据增强。我们提出了一个荟萃分析的性能语音识别自适应算法,根据文献中报道的相对错误率降低。
2021-02-28 cs.CL cs.SD eess.AS
Adaptation of Whisper models to child speech recognition
School of Electrical and Electronics Engineering, University of Galway(戈尔韦大学电气与电子工程学院);University Politehnica of Bucharest(布加勒斯特理工大学)
本研究探索将Whisper模型适配儿童语音识别,通过微调提升性能,并与wav2vec2对比,发现微调有效且wav2vec2更优。
2023-07-24 cs.AI eess.AS
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab(字节跳动人工智能实验室)
在最近的半监督语音识别趋势中,自监督表示学习和伪标记都显示出有希望的结果。在本文中,我们提出了一种新的方法,结合他们的想法,端到端的语音识别模型。在没有任何额外损失函数的情况下,我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测,以学习强声学表示,并使训练对标签噪声具有鲁棒性。在我们的半监督实验中,该方法可以提高在伪标签上训练时的模型性能,并且在Librispeech 100小时实验中,与其他半监督方法相比,我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
Are you wearing a mask? Improving mask detection from speech using augmentation by cycle-consistent GANs
University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学)
从语音中检测一个人是否戴着口罩的任务在法医调查、外科医生或保护自己免受COVID-19等传染病感染的人之间的交流中对语音建模非常有用。在本文中,我们提出了一种新的数据增强方法从语音中检测掩码。我们的方法是基于(i)训练具有周期一致性损失的生成对抗网络(GANs)来翻译两个类别(有掩码和没有掩码)之间的未配对话语,以及(ii)使用周期一致性GANs生成新的训练话语,为每个翻译的话语分配相反的标签。原始和翻译的话语被转换成频谱图,这些频谱图作为输入提供给一组具有不同深度的ResNet神经网络。通过支持向量机(SVM)分类器将网络组合成一个整体。凭借该系统,我们参加了INTERSPEECH 2020计算副语言学挑战赛的面具子挑战赛(MSC),超过主办方提出的基线2.8%。我们的数据增强技术在私有测试集上提供了0.9%的性能提升。此外,我们表明,我们的数据增强方法比其他基线和最先进的增强方法产生更好的结果。
2020-07-25 cs.CV cs.SD eess.AS
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法,利用掩码语言模型校正离散语音单元,并通过小型适配器微调预训练模型,从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
Spectral Masking with Explicit Time-Context Windowing for Neural Network-Based Monaural Speech Enhancement
Eindhoven University of Technology(埃因霍温理工大学);NXP Semiconductors(恩智浦半导体)
提出一种显式时间上下文加窗方法,通过在神经网络输入输出端结合多上下文估计改善软掩蔽过程,无需额外训练且参数增加不到1%,有效提升了去噪语音的可懂度与质量。
2024-08-28 cs.SD eess.AS
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics(国立信息学研究所);Unversity of Edinburgh(爱丁堡大学)
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构,在该结构中,一个看不见的说话人的声音可以建立在一个相对少量的语音数据,而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说,当执行无监督说话者自适应时,我们将这些层连接到音频输入,而当从文本合成语音时,我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成,还提出了其它应用。实验结果表明,该模型不仅可以适应看不见的扬声器使用未转录的语音,但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
On-the-fly Routing for Zero-shot MoE Speaker Adaptation of Speech Foundation Models for Dysarthric Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Chinese Academy of Sciences(中国科学院);China National Research Council Canada(中国国家研究委员会加拿大);Institute of Software(软件研究所)
本文提出一种基于MoE的零样本说话人自适应框架,通过即时预测路由参数动态组合适配器专家,在UASpeech语料库上实现构音障碍语音识别的实时处理与显著WER降低。
2025-05-28 cs.SD eess.AS
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google(谷歌)
自动语音识别(ASR)系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是,这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明,通过模型微调的个性化大大提高了性能。然而,为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明,通过所谓的残差适配器向编码器层添加相对少量的额外参数,与模型微调相比,我们可以实现类似的自适应增益,同时只更新一小部分(小于0.5%)模型参数。我们证明了这两个语音适应任务(非典型和重音语音)和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Deep Interaction between Masking and Mapping Targets for Single-Channel Speech Enhancement
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
最新的深度神经网络(DNN)模型在时频(T-F)幅度域中表现出令人印象深刻的去噪性能。然而,相位也是语音信号中容易被忽视的关键成分。在本文中,我们提出了一个多分支扩张卷积网络(DCN),同时增强噪声语音的幅度和相位。基于复谱和理想比率模板目标的多目标学习框架,实现了一种因果性和鲁棒性的单耳语音增强系统。在联合学习过程中,将目标间的中间估计作为特征注意因子的生成方式,实现两个目标间的信息交互。此外,所提出的多尺度扩张卷积使DCN模型具有更有效的时间建模能力。实验结果表明,与现有的语音识别模型相比,该模型具有更好的语音质量和可懂度,且计算量更小。
2021-06-09 cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras(印度理工学院马德拉斯分校)
自动语音识别是模式识别中的一个难题,因为语音输入中存在多种可变性来源,例如通道变化,输入可能是干净的或有噪声的,说话者可能具有不同的口音和性别变化等。因此,域自适应在语音识别中很重要,其中我们训练特定源域的模型,并在不同的目标域上对其进行测试。在本文中,我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验,使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google(谷歌)
本文介绍了第7届CHiME挑战赛的UDASE任务,旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应,以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
BLOOM-Net: Blockwise Optimization for Masking Networks Toward Scalable and Efficient Speech Enhancement
Indiana University(印第安纳大学)
在本文中,我们提出了一个基于掩蔽网络(BLOOM-Net)的分块优化方法,用于训练可扩展的语音增强网络。在这里,我们使用残差学习方案设计我们的网络,并按顺序训练内部分离器块,以获得用于语音增强的可扩展的基于掩蔽的深度神经网络。它的可伸缩性允许它根据测试时环境动态调整运行时复杂度。为此,我们模块化我们的模型,因为它们可以灵活地适应不同的需求,增强性能和资源的约束,产生最小的内存或训练开销,由于增加的可扩展性。我们对语音增强的实验表明,所提出的分块优化方法实现了所需的可扩展性,只有轻微的性能下降相比,相应的模型训练端到端。
2022-02-10 cs.LG cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent(腾讯)
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音,没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入,并且有几次尝试尝试了可变长度的说话人嵌入。然而,他们忽略了转移个人的发音特征相关的音素内容,导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力,我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系,一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模,并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明,该方法可以提高合成语音的说话人相似度,特别是对未知说话人。
2022-11-11 cs.SD eess.AS
End-to-End Model for Speech Enhancement by Consistent Spectrogram Masking
Shanghai University(上海大学);Northwestern Polytechnical University(西北工业大学)
近年来,相位处理在语音增强领域引起了越来越多的关注.一些研究者通过使用基于复值短时傅里叶变换(STFT)谱图的训练目标(例如复比率掩码(cRM))将相位估计模块集成到语音增强模型中[1]。然而,对声谱图进行掩蔽会违反一致性约束。在这项工作中,我们证明了不一致的问题扩大了语音增强模型的解决方案空间,并导致意外的文物。提出了一种基于一致性谱图掩模(CSM)的复杂谱图估计方法,该方法简单而有效。实验结果表明,CSM方法加快了模型的训练速度,提高了语音质量。从我们的实验结果,我们保证我们的方法可以提高
2019-01-02 cs.AI cs.MM cs.SD
Attention-based scaling adaptation for target speech extraction
Tencent Ethereal Audio Lab(腾讯天籁音频实验室)
目标语音的提取是近年来受到广泛关注的问题。在这项工作中,我们专注于研究不同的混合和目标说话人之间的动态相互作用,利用区分目标说话人的线索。我们提出了一种特殊的注意机制,无需在缩放适应层中引入任何额外的参数,以更好地使网络适应提取目标语音。此外,通过引入混合嵌入矩阵池方法,我们提出的基于注意力的缩放自适应(ASA)可以更有效地利用目标说话人的线索。在空间化混响WSJ 0 2-mix数据集上的实验结果表明,该方法能有效地提高目标语音的提取性能。此外,我们发现,在相同的网络配置下,ASA在单通道条件下可以实现竞争力的性能增益,从两个通道的麦克风间相位差(IPD)功能的混合实现。
2021-10-19 cs.SD eess.AS
Layer-wise Fast Adaptation for End-to-End Multi-Accent Speech Recognition
Shanghai Jiao Tong University(上海交通大学)
口音变异对自动语音识别建模提出了巨大的挑战。虽然基于独热口音向量的自适应系统是常用的,但它们需要关于目标口音的先验知识,并且不能处理看不见的口音。此外,简单地连接重音嵌入并不能很好地利用重音知识,其改进有限。在这项工作中,我们的目标是解决这些问题,注入到E2 E ASR模型编码器的一种新的逐层自适应结构。适配器层在口音空间中编码任意口音,并帮助ASR模型识别口音语音。对于给定的语音,自适应结构提取相应的口音信息,并通过所有口音基的线性组合将输入的声学特征转换为口音相关特征。我们进一步探索适应层的注入位置、重音基础的数量以及不同类型的重音基础,以实现更好的重音适应。实验结果表明,在AESRC 2020口音数据集和Librispeech数据集上,与基线相比,该自适应结构分别使相对单词出错率降低了12%和10%.
2022-04-21 cs.SD eess.AS
Enhancement Of Coded Speech Using a Mask-Based Post-Filter
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);International Audio Laboratories(国际音频实验室);Friedrich-Alexander University (FAU)(弗里德里希-亚历山大大学(FAU))
由于高量化噪声,语音编解码器的质量在低比特率下恶化。后置滤波器通常用于增强编码语音的质量。本文提出了一种基于时频域掩蔽的数据驱动后置滤波器。实现了全连接神经网络(FCNN)、卷积编码器-解码器(CED)网络和长短期记忆(LSTM)网络来估计每个时频点的实值掩码。在自适应多速率宽带编解码器(AMR-WB)的五种最低工作模式(6.65 kbps-15.85 kbps)上对所提出的模型进行了测试。客观和主观的评价证实了增强的编码语音,也显示了基于掩码的神经网络系统的优越性超过传统的启发式后过滤器中使用的标准,如ITU-T G.718。
2020-10-12 cs.LG eess.AS eess.SP
SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出SALSA方法,通过监督学习优化逐层引导向量,在儿童语音、多语种语音和普通话-英语代码切换基准上显著提升零样本推理和语音上下文学习性能,最高相对提升46.8%。
2026-05-30 cs.CL eess.AS
Variational Low-Rank Adaptation for Personalized Impaired Speech Recognition
本文提出基于贝叶斯低秩适应的新型ASR个性化方法,通过高效微调提升受损语音识别准确率,同时保持数据和标注效率,解决低资源环境下语音障碍者的识别问题。
2026-03-16 cs.AI eess.AS
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
在近距离说话语音上训练的语音识别器不能推广到远距离语音,并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题,留下很少的努力,以适应近距离说话的语音识别器,以遥远的语音。在这项工作中,我们回顾了几种方法从领域自适应的角度来看。这些方法,包括语音增强,多条件训练,数据增强,和自动编码器,都涉及域之间的数据转换。我们在AMI数据集上进行实验,这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距,为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
They are wearing a mask! Identification of Subjects Wearing a Surgical Mask from their Speech by means of x-vectors and Fisher Vectors
University of Szeged(塞格德大学)
基于计算副语言学在INTERSPEECH会议的挑战一直有一个良好的接待,由于其竞争激烈的学术和研究需求的与会者。今年,INTERSPEECH 2020计算副语言学挑战赛提供了三个不同的问题;在这里,面具子挑战赛特别有趣。这项挑战涉及对戴着外科口罩的受试者记录的语音进行分类。在这项研究中,为了解决上述问题,我们采用了两种不同类型的特征提取方法。x向量嵌入,这是当前最先进的说话人识别方法;和Fisher向量(FV),这是一种最初用于图像识别的方法,但在这里我们利用它来区分话语。这些方法采用不同的帧级表示:MFCC和PLP。使用支持向量机(SVM)作为分类器,我们执行FV编码和x-向量嵌入这个特定的分类任务的性能之间的技术比较。我们发现,Fisher矢量编码提供了更好的表示的话语比x-矢量做这个特定的数据集。此外,我们表明,我们的最佳配置的融合优于所有的面具子挑战的基线分数。
2020-08-23 cs.LG eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University(西江大学);Naver Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
通常,由于训练环境和测试环境之间的不匹配,自动语音识别(ASR)系统的性能显著降低。最近,提出了一种基于深度学习的图像到图像翻译技术,将图像从源域翻译到所需域,并应用循环一致性对抗网络(CycleGAN)来学习从说话人到目标说话人的语音到语音转换的映射。然而,该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量,因为它被设计为转换语音本身。在本文中,我们提出了一种基于生成对抗网络(GANs)的域自适应方法,具有解纠缠表示学习,以实现ASR系统的鲁棒性。特别是,两个独立的编码器,上下文和域编码器,引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR,将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外,与基于CycleGAN的方法类似,该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
TDASS: Target Domain Adaptation Speech Synthesis Framework for Multi-speaker Low-Resource TTS
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
近年来,通过文本到语音(TTS)应用合成个性化语音的需求很高。但以往的TTS模型需要大量的目标说话人语音进行训练。这是一个高成本的任务,很难记录大量的话语从目标说话人。语音的数据增强是一种解决方案,但会导致低质量的合成语音问题。一些多说话人TTS模型被提出来解决这个问题。但由于说话人的说话数量不均衡,导致语音相似性问题。我们提出了目标领域自适应语音合成网络(TDASS)来解决这些问题。TDASS基于高质量TTS模型Tacotron 2的主干,引入了一个自利分类器来减少非目标影响。此外,在分类器中增加了一个特殊的梯度反转层,对目标和非目标进行不同的操作。在汉语语音库上的实验表明,该方法在语音质量和相似度方面优于基线方法。
2022-05-24 cs.SD eess.AS
Do face masks introduce bias in speech technologies? The case of automated scoring of speaking proficiency
Educational Testing Service(教育考试服务中心)
COVID-19疫情导致全球口罩使用量大幅增加。面部覆盖物可以影响信号的声学特性以及语音模式,并且如果佩戴面具的人试图使用语音处理技术,则会产生意想不到的效果。在本文中,我们探讨了戴口罩对英语语言能力自动评估的影响。我们使用的数据集来自一个大规模的口语测试,考生被要求在测试期间戴口罩,我们将其与匹配的对照样本进行比较,这些对照样本是在口罩要求到位之前参加相同测试的考生。我们发现,这两个样本在一系列声学措施不同,也表现出一个小的,但显着的语音模式的差异。然而,这些差异不会导致英语语言能力的人工或自动分数的差异。几项偏倚指标显示两组之间的得分没有差异。
2020-11-03 cs.CL cs.HC cs.SD
Hyper-parameter Adaptation of Conformer ASR Systems for Elderly and Dysarthric Speech Recognition
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
本文研究了Conformer ASR系统在老年和构音障碍语音识别中的超参数自适应方法,发现其相比仅参数微调在DBank和UASpeech任务上分别降低0.45%和0.67%的词错率,且性能提升与源域和目标域数据的相对话语长度比相关。
2023-06-27 cs.LG eess.AS
AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音)
文语转换(TTS)被广泛用于为目标说话人合成个人语音,其中训练良好的源TTS模型被微调,而目标说话人的配对适应数据(语音及其转录本)很少。然而,在许多场景中,只有未转录的语音数据可用于适配,这给先前的TTS适配流水线(例如,AdaSpeech)。在本文中,我们开发了AdaSpeech 2,一个自适应TTS系统,只利用未转录的语音数据进行适应。具体来说,我们引入了一个梅尔频谱编码器的一个训练有素的TTS模型进行语音重建,并在同一时间限制梅尔频谱编码器的输出序列接近原来的音素编码器。在自适应中,我们使用未转录的语音数据进行语音重建,只微调TTS解码器。AdaSpeech 2有两个优点:1)可插拔:我们的系统可以很容易地应用于现有的训练TTS模型,而无需重新训练。2)有效:我们的系统通过转录的TTS适配实现了同等的语音质量(例如,AdaSpeech)与相同数量的未转录数据,并实现更好的语音质量比以前的未转录适应方法。合成的语音样本可以在https://speechresearch.github.io/adaspeech2/上找到。
2021-04-20 cs.CL cs.SD eess.AS
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
儿童语音的声学建模是具有挑战性的,因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中,我们提出了一种特征自适应方法,通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone(绑定三音素状态)水平的声学不匹配,并利用大量转录的成人语音。我们验证所提出的方法上的三个任务:儿童语音识别,儿童发音评估,和儿童流畅度分数预测。实证结果表明,我们提出的方法始终优于竞争基线,实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Generative Adversarial Training Data Adaptation for Very Low-resource Automatic Speech Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
濒危语言语音数据的转录和存档对于保护语言文化遗产具有重要意义,而自动语音识别(ASR)技术是实现这一目标的有力工具。然而,由于濒危语言通常不具有具有许多说话者的大型语料库,因此在它们上训练的ASR模型的性能通常相当差。然而,我们经常会留下大量需要转录的自发语音数据记录。在这项工作中,为了减轻这种扬声器稀疏性问题,我们建议转换整个训练语音数据,使其听起来像测试扬声器,以便为该扬声器开发一个高度准确的ASR系统。为此,我们利用基于CycleGAN的非并行语音转换技术来伪造接近测试说话人语音的标记训练数据。我们在两个低资源语料库上评估了这种说话人自适应方法,即阿伊努语和姆博希语。我们在阿伊努语语料库上获得了35-60%的相对改善,在Mboshi语料库上获得了40%的相对改善。这种方法优于两种传统的方法,即无监督的适应和多语言训练这两个语料库。
2020-07-31 cs.CL eess.AS
CampNet: Context-Aware Mask Prediction for End-to-End Text-Based Speech Editing
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于文本的语音编辑器允许通过直观的剪切、复制和粘贴操作来编辑语音,以加快编辑语音的过程。然而,当前系统的主要缺点是,由于剪切-复制-粘贴操作,编辑后的语音通常听起来不自然。此外,如何根据一个没有出现在成绩单中的新词来合成记录也不明显。本文提出了一种新的端到端的基于文本的语音编辑方法,称为上下文感知掩码预测网络(CampNet)。该模型通过随机掩蔽部分语音,然后通过感知语音上下文来预测掩蔽区域,从而模拟基于文本的语音编辑过程。它可以解决编辑区域中的不自然韵律,并合成与转录本中未见过的单词相对应的语音。其次,针对基于文本的语音编辑的可能操作,设计了基于CampNet的三种基于文本的操作:删除、插入和替换。这些操作可以涵盖语音编辑的各种情况。第三,针对长文本插入和替换时的语音合成问题,提出了一种词级自回归生成方法。第四,提出了一种基于CampNet的单句说话人自适应方法,并探索了基于CampNet的少样本学习能力,为语音伪造任务提供了新的思路。在VCTK和LibriTTS数据集上进行的主观和客观实验表明,基于CampNet的语音编辑效果优于TTS技术、人工编辑和VoCo方法。我们还进行了详细的烧蚀实验,以探讨其性能的CampNet结构的影响。实验结果表明,单句话的说话人自适应可以进一步提高语音的自然度。生成的语音的示例可以在https://hairuo55.github.io/CampN…
2022-03-22 cs.CL cs.SD eess.AS
D2Former: A Fully Complex Dual-Path Dual-Decoder Conformer Network using Joint Complex Masking and Complex Spectral Mapping for Monaural Speech Enhancement
Alibaba Group(阿里巴巴集团)
单声道语音增强已被广泛研究,使用真正的网络在时间-频率(TF)域。然而,输入和目标在TF域中自然是复值的,完全复杂的网络对于有效地学习特征表示和在复域中对序列建模是非常理想的。此外,相位,语音的感知质量的一个重要因素,已被证明是可学习的一起从噪声语音使用复杂的掩蔽或复杂的频谱映射的幅度。最近的许多研究集中在复掩蔽或复光谱映射,忽略了它们的性能边界。为了解决上述问题,我们提出了一个完全复杂的双路径双解码器构象网络(D2 Former)使用联合复掩蔽和复频谱映射单声道语音增强。在D2 Former中,我们将构象网络扩展到复域,形成了一个双路径复TF自注意体系结构,用于有效地对复值TF序列进行建模。我们进一步提高TF特征表示的编码器和解码器使用双路径学习结构,利用复杂的扩张卷积的时间依赖性和复杂的前馈顺序记忆网络(CFSMN)的频率递归。此外,我们通过将两个训练目标的优势结合到联合学习框架中来提高复掩蔽和复谱映射的性能边界。因此,D2 Former充分利用了复值运算、双路径处理和联合训练目标。与以前的模型相比,D2 Former在VoiceBank+Demand基准测试中获得了最先进的结果,模型尺寸最小,仅为0.87 M参数。
2023-02-23 cs.SD eess.AS
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico(INESC-ID与理工学院)
本文提出AC-Mix方法,通过源域与目标域样本插值的对比混合进行自监督域自适应,在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS