Phoneme-Based Ratio Mask Estimation for Reverberant Speech Enhancement in Cochlear Implant Processors
Duke University(杜克大学)
耳蜗植入体(CI)用户在混响听音环境中理解语音有相当大的困难。时频(T-F)掩蔽是旨在通过将混响语音乘以增益值矩阵以抑制由混响主导的T-F仓来提高语音可懂度的常用技术。最近提出的掩模估计算法利用机器学习方法来区分目标语音和混响反射。然而,语音的频谱-时间结构是高度可变的,并且依赖于潜在的音素。潜在地克服这种可变性的单向式方法是在掩码估计期间利用音素信息的明确知识。本研究提出一种以音素为基础的遮罩估测演算法,针对每一音素分别训练遮罩估测模型。在正常听力的听众中进行句子识别测试,以确定基于音素的掩码估计算法在音素的完美知识可用的理想情况下是否有益。结果表明,与传统的音素无关的面具相比,基于音素的面具提高了声码语音的可懂度。研究结果表明,音素为基础的语音增强策略可能有利于CI用户在混响听环境。
2021-05-28 cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University(约翰斯·霍普金斯大学)
基于双向长短期记忆(BLSTM)神经网络的谱掩模估计已广泛应用于各种语音增强应用中,并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而,当这些掩模用于单通道语音增强时,它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合,使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Plugin Speech Enhancement: A Universal Speech Enhancement Framework Inspired by Dynamic Neural Network
China Mobile Research Institute(中国移动研究院)
本文提出插件式语音增强框架Plugin-SE,通过权重预测方法从下游训练信息中学习任务关系,并结合门控模块构建动态神经网络,以解决通用语音增强中下游模块特征感知不足的问题,实验证明其在多种下游任务上优于或媲美现有联合训练方法。
2024-02-20 cs.SD eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering(军事工程学院)
本文提出了一种新的盲声掩模(BAM)设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息,以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外,该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法,理想的二进制掩码(IBM),目标二进制掩码(TBM),和非平稳噪声估计语音增强(NNESE),考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比(SNR)进行评估。结果表明,BAM技术实现可懂度增益与理想的面具,同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs Research(脸书现实实验室研究)
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中,我们探讨的方法,使监督语音增强系统训练真实世界的退化语音数据。具体来说,我们提出了一个半监督的语音增强方法,我们首先训练一个修改后的矢量量化变分自编码器,解决了源分离任务。然后,我们使用这个训练的自动编码器,进一步训练一个增强网络,使用现实世界的嘈杂的语音数据,通过计算一个基于三元组的无监督损失函数。实验表明,将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
MaskSR: Masked Language Model for Full-band Speech Restoration
Dolby Laboratories(杜比实验室);Southeast University(东南大学);School of Information Science and Engineering, Southeast University(东南大学信息科学与工程学院)
本文提出掩码语言模型MaskSR,通过预测离散声学token并利用迭代采样,有效恢复受噪声、混响等影响的全频带语音,实验证明其性能具竞争力。
2024-06-04 cs.AI cs.LG cs.SD
A two-step backward compatible fullband speech enhancement system
Kuaishou Technology(快手科技)
基于深度学习的语音增强方法已经超越了传统方法。虽然这些新的方法中有许多是在宽带(16 kHz)的采样率,一个新的全带(48 kHz)的语音增强系统,本文提出。与现有的利用感知激励特征来使用单个网络结构训练全带语音增强的全带系统相比,所提出的系统是两步系统,其确保良好的全带语音增强质量,同时向后兼容于现有的宽带系统。
2022-01-28 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中,我们的目标是弥合这一差距,提取音素身份,以帮助语音增强。具体来说,我们提出了一个基于音素的分布正则化(PbDr)的语音增强,它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布,我们建议学习一个参数对,即规模和偏见,通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件,而且还包括频率方面的条件,其有效地将特征映射到音素相关分布。通过这种方式,我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明,该PbDr模块不仅可以提高语音增强的感知质量,而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题,将其作为从语音增强到歌声分离的域适应,研究全量微调和LoRA参数高效微调策略,实验表明两种策略均有效提升歌声分离性能,LoRA微调还能保留语音增强能力,证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London(帝国理工学院)
这份报告的重点是算法,执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强,即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制,并且在[2]、[1]、[3]和[4]中,设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要,因为这可以提供有助于开发新算法的见解。索引术语-语音增强,去混响,去噪,卡尔曼滤波器,最小均方误差估计。
2018-10-31 cs.SD eess.AS
Multichannel Loss Function for Supervised Speech Source Separation by Mask-based Beamforming
LINE Corporation(LINE公司)
在本文中,我们提出了两种基于掩模的波束形成方法,使用由多通道损失函数训练的深度神经网络(DNN)。使用由DNN估计的时频(TF)掩模的波束成形技术已经应用于TF掩模用于估计空间协方差矩阵的许多应用。为了训练用于基于掩码的波束成形的DNN,已经采用了为单声道语音增强/分离设计的损失函数。虽然这样的训练标准是简单的,但它并不直接对应于基于掩模的波束成形的性能。为了克服这个问题,我们使用多通道损失函数评估估计的空间协方差矩阵的基础上,多通道板仓斋藤分歧。由多通道损失函数训练的DNN可以被应用于构造多个波束形成器。实验结果证实了它们的有效性和鲁棒性麦克风配置。
2019-07-11 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology(代尔夫特理工大学);Erasmus Medical Centre (EMC)(埃因霍温医学院);Indian Inst. of Information Technology Allahabad(阿利哈巴德信息科技学院);Dept. of Plastic and Reconstructive Surgery(整形外科与重建外科系);Dept. of Electronics and Communication(电子与通信系)
针对构音障碍语音对ASR系统的挑战,本研究探索扩散模型在构音障碍语音增强中的应用,通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响,验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
A Perceptual Weighting Filter Loss for DNN Training in Speech Enhancement
使用深度神经网络(DNN)的单通道语音增强已显示出有前途的性能,因此正在深入研究。在本文中,在用于语音增强的DNN训练期间,我们不是将均方误差(MSE)应用为损失函数,而是设计了由加权滤波器激励的感知加权滤波器损失,因为其用于合成分析语音编码,例如,码激励线性预测(CELP)实验结果表明,所提出的简单的损失函数提高了语音增强性能相比,参考DNN与MSE损失的感知质量和噪声衰减。所提出的损失函数可以有利地应用于现有的基于DNN的语音增强系统,而无需修改用于语音增强的DNN拓扑。提出的方法的源代码是可用的。
2019-08-18 cs.SD eess.AS
Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement
National Institute of Informatics(国立情报学研究所);The Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学(SOKENDAI))
语音增强(SE)方法主要集中于从噪声输入中恢复干净的语音。然而,在现实世界的语音通信中,噪声往往不仅存在于说话者,而且存在于听者环境中。虽然SE方法可以抑制扬声器语音中包含的噪声,但它们不能处理实际存在于收听者侧的噪声。为了解决这种复杂但常见的情况,我们研究了一种基于深度学习的联合框架,该框架将降噪(NR)与听力增强(LE)集成在一起,其中NR模块首先抑制噪声,然后LE模块修改去噪语音,即,NR模块的输出,以进一步提高语音清晰度。因此,增强的语音可以更少噪声并且对于收听者来说更容易理解。实验结果表明,我们提出的方法取得了可喜的成果,显着优于不相交处理方法在各种语音评价指标。
2022-03-22 cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab(腾讯人工智能实验室)
声学回声消除在全双工语音通信中起着重要的作用,同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中,我们提出了一个全深度学习框架,隐式估计回声/噪声和目标语音的二阶统计量,并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明,该模型可以与说话人嵌入更好的目标语音增强,并进一步开发一个分支的自动增益控制(AGC)的任务,形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Test-time adaptation for speech enhancement with an autoregressive speech prior
CentraleSupélec(中央超级电子学院);Inria(法国国家信息与自动化研究所);University of Hamburg(汉堡大学)
该研究提出一种基于自回归语音先验的单utterance测试时自适应方法,通过最小化分布散度提升语音增强模型在噪声不匹配场景下的性能,相关成果已在线公开。
2026-09-04 cs.AI cs.SD
Residual Tokens Enhance Masked Autoencoders for Speech Modeling
Inria at Univ. Grenoble Alpes, CNRS, LJK, France(Inria 与格勒诺布尔阿尔卑斯大学、CNRS、LJK 在法国)
RT-MAE通过引入残差可训练标记提升语音建模,增强语音重建质量与表达性,并适用于噪声抑制任务。
2026-01-27 cs.AI cs.SD
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology(格拉茨技术大学);Ruperts Karls University(海德堡大学)
虽然机器学习技术传统上是资源密集型的,但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中,我们提供了一种基于深度神经网络(DNN)的多通道语音增强的资源高效方法。特别是,我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应(MVDR)或广义特征值(GEV)波束形成器。在二进制权重和精度降低的激活的极端情况下,可以显著减少执行时间和内存占用,同时仍然获得几乎与单精度DNN相当的音频质量,并且使用WSJ0语音语料库的单个说话者场景的字错误率(WER)略高。
2020-07-22 cs.LG cs.SD eess.AS
Joint Semantic Knowledge Distillation and Masked Acoustic Modeling for Full-band Speech Restoration with Improved Intelligibility
Dolby Laboratories(杜比实验室)
针对现有语音修复生成模型MaskSR可懂度有待提升的问题,提出结合语义知识蒸馏与掩码声学建模的MaskSR2,在不增加模型容量与推理时间的前提下,显著降低词错误率,兼顾语音质量与可懂度。
2024-09-14 cs.AI cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance(字节跳动)
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近,基于神经网络的方法已经被应用于语音增强。然而,许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架,可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记,而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络(PANNs)来检测音频片段中包含语音或声音事件的锚片段。然后,我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物,并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中,我们输入一个带噪的语音信号,其中“Speech”的独热编码作为训练系统的条件,以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR,分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering(军事工程学院)
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法,以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声,在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线,从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果,在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
Components Loss for Neural Networks in Mask-Based Speech Enhancement
Institute for Communications Technology, Technische Universität Braunschweig(布伦瑞克工业大学通信技术研究所)
使用深度学习方法估计用于单通道语音增强的时频域掩模最近已成为一个热门的研究领域,并取得了可喜的成果。在本文中,我们提出了一种新的成分损失(CL)的神经网络的训练基于掩码的语音增强。在训练过程中,所提出的CL提供单独的控制保留的语音分量的质量,抑制的残留噪声分量,并保留一个自然的声音残留噪声分量。我们说明了潜在的建议CL通过评估一个标准的卷积神经网络(CNN)基于掩码的语音增强。新的CL获得了更好的和更平衡的性能,在几乎所有采用的仪器质量指标超过基线损失,后者包括传统的均方误差(MSE)的损失,也与语音相关的损失功能,如语音质量的感知评估(PESQ)损失和最近提出的感知加权滤波器损失。特别地,应用CL提供了更好的语音分量质量、更好的整体增强的语音感知质量以及听起来更自然的残余噪声。平均而言,对于所见的噪声类型,在增强语音上获得至少0.1点更高的PESQ分数,同时还获得超过0.5dB的更高SNR改善。这种改进对于看不见的噪声类型更强,其中获得了增强语音的约0.2点高的PESQ分数,同时输出SNR也领先超过0.5 dB。新提出的CL易于实现,代码可在https://github.com/ifnspaml/Components-Loss上提供。
2019-08-14 cs.SD eess.AS
Spectral Masking with Explicit Time-Context Windowing for Neural Network-Based Monaural Speech Enhancement
Eindhoven University of Technology(埃因霍温理工大学);NXP Semiconductors(恩智浦半导体)
提出一种显式时间上下文加窗方法,通过在神经网络输入输出端结合多上下文估计改善软掩蔽过程,无需额外训练且参数增加不到1%,有效提升了去噪语音的可懂度与质量。
2024-08-28 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield(谢菲尔德大学);WS Audiology(西万拓听力技术公司);Toshiba(东芝)
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离,以提升可懂度,实验显示相比SNR损失,HASPI、STOI、PESQ和SI-SNR均提高,且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion(信息与通信技术振兴院);Microsoft Research Asia(微软亚洲研究院)
近年来,对用于端到端语音编码的自监督学习方法的兴趣激增,因为它们取得了巨大的成功。特别是,WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效,在这项工作中,我们设计并进行了一系列实验,结合WavLM和两个高质量的语音增强系统的三个资源条件。此外,我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置,以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明,WavLM有利于语音增强任务的语音质量和语音识别精度,特别是对于低微调资源。对于高微调资源条件,仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield(谢菲尔德大学);TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室)
本文识别了感知度量驱动的语音增强网络中的幻觉问题,即增强系统通过欺骗语音质量预测器来引入幻觉,并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University(俄亥俄州立大学)
虽然深度学习系统在语音增强研究中取得了显著进展,但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是,语音反馈是罕见的语音增强的研究,即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统,并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈,即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据,我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AWS AI Labs(亚马逊人工智能实验室)
本文提出了一种基于掩码自动编码器的通用语音增强器,通过自监督学习处理多种失真,实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs(Facebook现实实验室)
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下,所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中,我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估(3QUEST)的语音平均意见分数(SMOS)和噪声MOS(NMOS)的近场和远场应用的指标。此外,所提出的语音增强方法大大提高了信噪比(SNR)和主观听觉体验。相比之下,传统的语音增强方法虽然增加了NMOS和SNR,但降低了SMOS。此外,所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Deep Interaction between Masking and Mapping Targets for Single-Channel Speech Enhancement
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
最新的深度神经网络(DNN)模型在时频(T-F)幅度域中表现出令人印象深刻的去噪性能。然而,相位也是语音信号中容易被忽视的关键成分。在本文中,我们提出了一个多分支扩张卷积网络(DCN),同时增强噪声语音的幅度和相位。基于复谱和理想比率模板目标的多目标学习框架,实现了一种因果性和鲁棒性的单耳语音增强系统。在联合学习过程中,将目标间的中间估计作为特征注意因子的生成方式,实现两个目标间的信息交互。此外,所提出的多尺度扩张卷积使DCN模型具有更有效的时间建模能力。实验结果表明,与现有的语音识别模型相比,该模型具有更好的语音质量和可懂度,且计算量更小。
2021-06-09 cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学国家语言语音信息处理工程研究中心)
本文提出在训练阶段利用知识蒸馏,将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型,从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University(安徽大学智能计算与信号处理教育部重点实验室)
骨导语音与气导语音相比,具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN(CycleGAN-DAL)用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射,其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比,它可以学习骨导语音和目标语音之间的特征映射,而无需额外的空气传导语音辅助。此外,所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明,该方法优于基线方法,如CycleGAN,GMM和BLSTM。关键词:骨导语音增强,双对抗损失,并行CycleGAN,高频语音重建
2021-11-02 cs.SD eess.AS
AnCoGen: Analysis, Control and Generation of Speech with a Masked Autoencoder
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央高等电力学院);Grenoble INP(格勒诺布尔理工学院);Télécom Paris(巴黎电信学院);Institut polytechnique de Paris(巴黎综合理工学院)
提出 AnCoGen 模型,利用掩码自编码器统一语音属性分析、可控生成与增强,并在多项语音任务中验证其有效性。
2025-01-09 cs.AI cs.SD eess.AS
BLOOM-Net: Blockwise Optimization for Masking Networks Toward Scalable and Efficient Speech Enhancement
Indiana University(印第安纳大学)
在本文中,我们提出了一个基于掩蔽网络(BLOOM-Net)的分块优化方法,用于训练可扩展的语音增强网络。在这里,我们使用残差学习方案设计我们的网络,并按顺序训练内部分离器块,以获得用于语音增强的可扩展的基于掩蔽的深度神经网络。它的可伸缩性允许它根据测试时环境动态调整运行时复杂度。为此,我们模块化我们的模型,因为它们可以灵活地适应不同的需求,增强性能和资源的约束,产生最小的内存或训练开销,由于增加的可扩展性。我们对语音增强的实验表明,所提出的分块优化方法实现了所需的可扩展性,只有轻微的性能下降相比,相应的模型训练端到端。
2022-02-10 cs.LG cs.SD eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University(名古屋大学)
基于深度神经网络(DNN)的语音增强通常使用干净的语音作为训练目标。然而,很难收集大量干净的语音,因为录音成本很高。换句话说,当前语音增强的性能受到训练数据量的限制。为了放宽该限制,已经提出了利用噪声语音作为训练目标的噪声目标训练(NyTT)。虽然实验表明,NyTT可以训练DNN而无需干净的语音,但尚未进行详细的分析,并且其行为尚未得到很好的理解。在本文中,我们进行各种分析,以加深我们对NyTT的理解。此外,基于NyTT的属性,我们提出了一种改进的方法,该方法与使用干净语音的方法相当。此外,我们表明,我们可以提高性能,通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions
Shanghai Jiao Tong University(上海交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Carnegie Mellon University(卡内基梅隆大学)
基于深度学习的时域模型,例如Conv-TasNet,在单通道和多通道语音增强方面都显示出巨大的潜力。然而,时域语音增强模型的实验大多是在模拟环境下进行的,其良好的性能能否推广到实际应用中还没有得到很好的研究。在本文中,我们的目的是提供一个有见地的调查应用多通道Conv-TasNet为基础的语音增强的模拟和真实数据。我们的初步实验表明,在ASR性能方面,两种条件之间存在很大的性能差距。有几种方法被用来缩小这一差距,包括将多通道Conv-TasNet集成到具有各种策略的波束形成模型中,以及语音增强和语音识别模型的联合训练。在CHiME-4语料库上的实验表明,本文提出的方法在保持前端强大的语音增强能力的同时,可以大大降低仿真数据与真实数据之间的语音识别性能差异。
2021-10-27 cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S(RTX公司);Aalborg University(奥尔堡大学)
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近,它已被证明,这个问题的最佳解决方案,需要考虑在两个环境中的噪声源联合。然而,现有的基于最佳互信息的方法需要一个复杂的系统模型,包括自然语音变化,并依赖于近似和假设的基础信号分布。在本文中,我们建议使用一个更简单的信号模型,并优化语音清晰度的近似语音清晰度指数(ASII)的基础上。我们推导出一个封闭形式的解决方案的联合远,近端语音增强的问题,是独立的信号系数的边缘分布,并达到类似的性能,现有的工作。此外,我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab(vivo人工智能实验室);Trinity College Dublin(都柏林大学三一学院)
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响,因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架,涉及语音增强的视觉信息,通过结合生成对抗网络(GAN)。具体地说,提出的视觉语音增强GAN由两个以对抗方式训练的网络组成:i)一个采用多层特征融合卷积网络增强输入含噪语音的生成器,ii)一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明,该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Breaking the trade-off in personalized speech enhancement with cross-task knowledge distillation
Microsoft Research(微软研究院)
与无条件语音增强模型相比,个性化语音增强(PSE)模型具有去除干扰语音和背景噪声的能力,因此获得了令人满意的结果。与无条件语音增强不同,因果PSE模型可能偶尔错误地移除目标语音。当目标说话者长时间沉默时,PSE模型也倾向于泄漏干扰语音。我们表明,现有的PSE方法遭受语音过抑制和干扰泄漏之间的权衡,解决一个问题的代价是其他。我们提出了一个新的PSE模型训练框架,使用跨任务的知识蒸馏,以减轻这种权衡。具体来说,我们利用个性化的语音活动检测器(pVAD)在训练过程中,排除非目标语音帧被错误地识别为包含目标扬声器与硬或软分类。这防止PSE模型过于激进,同时仍然允许模型学习在输入语音可能由干扰说话者说出时抑制输入语音。全面的评估结果,涵盖各种PSE的使用场景。
2022-11-05 cs.SD eess.AS
DDS: A new device-degraded speech dataset for speech enhancement
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学)
在不受控制的环境中,消费级设备上记录了现实生活中大量且不断增长的语音内容,导致语音质量下降。将这种低质量的设备降级语音转换成高质量语音是语音增强(SE)的目标。本文介绍了一种新的语音数据集,DDS,以促进对SE的研究。DDS提供高质量语音(在专业录音室录制)和低质量语音的多个版本的对齐平行录音,产生约2,000小时的语音数据。DDS数据集通过结合不同的声学环境和麦克风设备,涵盖了27种真实的录音条件,每个条件版本由来自六个麦克风位置的多个录音组成,以模拟不同的噪声和混响水平。我们还测试了几个SE基线系统的DDS数据集,并显示记录多样性对性能的影响。
2022-03-22 cs.SD eess.AS
End-to-End Model for Speech Enhancement by Consistent Spectrogram Masking
Shanghai University(上海大学);Northwestern Polytechnical University(西北工业大学)
近年来,相位处理在语音增强领域引起了越来越多的关注.一些研究者通过使用基于复值短时傅里叶变换(STFT)谱图的训练目标(例如复比率掩码(cRM))将相位估计模块集成到语音增强模型中[1]。然而,对声谱图进行掩蔽会违反一致性约束。在这项工作中,我们证明了不一致的问题扩大了语音增强模型的解决方案空间,并导致意外的文物。提出了一种基于一致性谱图掩模(CSM)的复杂谱图估计方法,该方法简单而有效。实验结果表明,CSM方法加快了模型的训练速度,提高了语音质量。从我们的实验结果,我们保证我们的方法可以提高
2019-01-02 cs.AI cs.MM cs.SD
LPCSE: Neural Speech Enhancement through Linear Predictive Coding
University of Chinese Academy of Sciences(中国科学院大学);Terminus Group(特斯联集团);University College London(伦敦大学学院);The University of Sheffield(谢菲尔德大学)
对5G/B5 G通信系统中的体验质量的日益严格的要求已经导致了新兴的神经语音增强技术,然而,神经语音增强技术已经与语音发音和失真的现有的基于专家规则的模型(诸如经典的线性预测编码(LPC)语音模型)隔离地开发,因为难以将模型与自动可区分的机器学习框架集成。在本文中,为了提高神经语音增强的效率,我们介绍了一种基于LPC的语音增强(LPCSE)架构,它利用了强归纳偏见的LPC语音模型结合神经网络的表达能力。在LPCSE中通过两个新颖的块实现可区分的端到端学习:一个块利用专家规则来减少将LPC语音模型集成到神经网络中时的计算开销,以及一个块通过将线性预测系数映射到滤波器极点来确保模型的稳定性并避免端到端训练中的梯度爆炸。实验结果表明,LPCSE能有效地恢复因传输损耗而失真的语音共振峰,在LJ语音语料上的语音质量感知评价(PESQ)和短时客观可懂度(STOI)方面优于现有的两种同等规模的神经网络语音增强方法.
2022-06-22 cs.SD eess.AS
A Framework for Unified Real-time Personalized and Non-Personalized Speech Enhancement
Amazon Web Services(亚马逊云科技)
在这项研究中,我们提出了一种方法来训练一个单一的语音增强网络,可以执行个性化和非个性化的语音增强。这是通过合并指定增强输出类型的逐帧调节输入来实现的。为了提高增强输出的质量并减轻过度抑制,我们尝试通过语音活动的存在或不存在来重新加权帧,并将增强应用于扬声器嵌入。通过在多任务学习设置下进行训练,我们经验性地表明,所提出的统一模型在个性化和非个性化语音增强基准上都获得了令人满意的结果,并且达到了与专门针对任一任务训练的模型相似的性能。所提出的方法的强大性能表明,统一的模型是一个更经济的替代品相比,保持单独的任务特定的模型在推理过程中。
2023-02-23 cs.SD eess.AS
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University(俄亥俄州立大学)
自几年前引入深度学习以来,单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众,它直接馈送到自动语音识别(ASR)系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处,或者单耳语音增强和识别之间的差距,通常归因于在增强过程中引入的语音失真。在这项研究中,我们分析了失真的问题,比较不同的声学模型,并探讨了失真无关的单耳语音识别的训练计划。实验结果表明,与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外,在CHiME-2语料库上,本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
End-to-end speech enhancement based on discrete cosine transform
Beijing University of Posts and Telecommunications(北京邮电大学)
由于语音信号具有短时稳定性,以往的语音增强方法主要集中在短时谱估计上。然而,这些方法往往只估计干净的幅度谱和重用的噪声相位时,重新合成语音信号,这是不可能有效的短时傅立叶变换(STFT)。目前,基于动态神经网络的语音增强方法主要是幅度谱和相位谱的联合估计。这些方法通常给出比幅度谱估计更好的性能,但需要更大的计算和存储开销。在本文中,我们提出使用离散余弦变换(DCT)重建一个有效的短时频谱。在U-net结构下,我们对真实的声谱图进行了增强,最终达到了理想的性能。
2019-10-22 cs.SD eess.AS
Speech Enhancement with Intelligent Neural Homomorphic Synthesis
Tencent Ethereal Audio Lab(腾讯天籁音频实验室)
大多数神经网络语音增强模型通过直接映射傅立叶变换频谱或波形而忽略语音产生数学模型。在这项工作中,我们提出了一个神经源滤波器网络的语音增强。具体地说,我们使用同态信号处理和倒谱分析来获得含噪语音的激励和声道。与传统的信号处理不同,我们使用一个专注递归网络(ARN)模型预测的比率掩模来代替提升分离函数。然后,使用两个卷积注意递归网络(CARN)网络分别预测干净语音的激励和声道。系统的输出是从估计的激励和人声合成的。实验证明,我们提出的方法性能更好,与FullSubNet相比,SI-SNR提高了1.363dB。
2022-10-28 cs.SD eess.AS
Deep neural network techniques for monaural speech enhancement: state of the art analysis
University of Cambridge(剑桥大学)
本文综述了深度神经网络在单声道语音增强中的主流技术,涵盖特征提取、全局与局部特征建模、监督与无监督训练及预训练模型应用,旨在总结该领域的主要趋势。
2023-06-20 cs.LG cs.SD eess.AS
Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG(拜耳公司);Idiap Research Institute(伊迪亚普研究所)
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响,发现该模型会丢失病理声学线索,但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
A Conformer-based ASR Frontend for Joint Acoustic Echo Cancellation, Speech Enhancement and Speech Separation
Google LLC(谷歌有限责任公司)
我们提出了一种提高自动语音识别(ASR)的鲁棒性的前端,该前端在单个模型中联合实现三个模块:声学回声消除、语音增强和语音分离。这通过使用上下文增强神经网络来实现,该上下文增强神经网络可以可选地利用不同类型的侧输入:(1)回放音频的参考信号,其对于回声消除是必要的;(2)噪声上下文,其对于语音增强是有用的;以及(3)表示感兴趣的目标说话者的语音特征的嵌入向量,这不仅在语音分离中是关键的,而且有助于回声消除和语音增强。我们提出了详细的评估表明,联合模型的性能几乎以及特定于任务的模型,并显着降低在嘈杂的条件下,即使使用大规模的最先进的ASR模型的单词错误率。与噪声基线相比,联合模型在低信噪比条件下将回声消除数据集上的单词错误率降低了至少71%,在噪声数据集上降低了10%,在多说话者数据集上降低了26%。与特定于任务的模型相比,联合模型在回声消除数据集上的性能在10%以内,在噪声数据集上的性能在2%以内,在多说话者数据集上的性能在3%以内。
2021-11-18 cs.SD eess.AS
Unsupervised Speech Enhancement using Data-defined Priors
本文提出双分支编码器-解码器与对抗训练框架,利用不成对干净语音和噪声数据定义先验,实现无监督语音增强,并揭示域内干净数据会导致性能评估过于乐观。
2025-09-26 cs.AI cs.SD eess.AS
ctPuLSE: Close-Talk, and Pseudo-Label Based Far-Field, Speech Enhancement
Department of Computer Science and Engineering, Southern University of Science and Technology(计算机科学与工程系,南方科技大学)
针对神经语音增强模型对真实数据泛化性差的问题,本文提出ctPuLSE方法,利用近讲增强生成伪标签,直接在真实远场混合信号上训练模型,在CHiME-4上验证了其有效性。
2025-09-24 cs.SD eess.AS
Spoken Speech Enhancement using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们演示了使用生成对抗网络(GAN)为基础的模型,门控递归单元(GRU)回归为基础的模型,时间卷积网络(TCN)回归模型,最后使用混合TCN GRU回归模型使用脑电图(EEG)信号的语音增强。我们比较了我们的基于EEG的语音增强的结果与传统的对数最小均方误差(MMSE)语音增强算法和我们提出的方法表现出显着的改善语音增强质量相比,传统的方法。我们的总体结果表明,EEG功能可以用来清洁语音记录在存在背景噪声。据我们所知,这是第一次口头语音增强证明使用EEG功能记录在并行与口头讲话。
2020-04-19 cs.LG cs.SD eess.AS
Improving Speech Enhancement through Fine-Grained Speech Characteristics
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室)
虽然基于深度学习的语音增强系统在提高语音信号的质量方面取得了快速进展,但它们仍然可以产生包含伪像并且听起来不自然的输出。我们提出了一种新的语音增强方法,旨在通过优化语音的关键特征来提高增强信号的感知质量和自然度。我们首先确定关键的声学参数,已被发现与语音质量(如抖动,微光,和频谱通量),然后提出目标函数,其目的是减少干净的语音和增强语音之间的差异相对于这些功能。完整的声学特征集是扩展的Geneva声学参数集(eGeMAPS),其包括与语音感知相关联的25个不同属性。鉴于这些特征计算的不可微性质,我们首先构建eGeMAPS的可微估计器,然后使用它们来微调现有的语音增强系统。我们的方法是通用的,可以应用于任何现有的基于深度学习的增强系统,以进一步改善增强的语音信号。在深度噪声抑制(DNS)挑战数据集上进行的实验结果表明,我们的方法可以改进最先进的基于深度学习的增强系统。
2022-07-11 cs.LG cs.SD eess.AS
Generic Speech Enhancement with Self-Supervised Representation Space Loss
本文提出一种基于自监督学习模型特征表示域距离最小化的新型训练准则,构建通用语音增强前端,在保持感知质量的同时提升多下游任务性能。
2025-07-10 cs.SD eess.AS eess.SP