On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London（帝国理工学院）
这份报告的重点是算法，执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强，即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制，并且在[2]、[1]、[3]和[4]中，设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要，因为这可以提供有助于开发新算法的见解。索引术语-语音增强，去混响，去噪，卡尔曼滤波器，最小均方误差估计。
2018-10-31 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
A Perceptual Weighting Filter Loss for DNN Training in Speech Enhancement
使用深度神经网络（DNN）的单通道语音增强已显示出有前途的性能，因此正在深入研究。在本文中，在用于语音增强的DNN训练期间，我们不是将均方误差（MSE）应用为损失函数，而是设计了由加权滤波器激励的感知加权滤波器损失，因为其用于合成分析语音编码，例如，码激励线性预测（CELP）实验结果表明，所提出的简单的损失函数提高了语音增强性能相比，参考DNN与MSE损失的感知质量和噪声衰减。所提出的损失函数可以有利地应用于现有的基于DNN的语音增强系统，而无需修改用于语音增强的DNN拓扑。提出的方法的源代码是可用的。
2019-08-18 cs.SD eess.AS
Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement
National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学（SOKENDAI））
语音增强（SE）方法主要集中于从噪声输入中恢复干净的语音。然而，在现实世界的语音通信中，噪声往往不仅存在于说话者，而且存在于听者环境中。虽然SE方法可以抑制扬声器语音中包含的噪声，但它们不能处理实际存在于收听者侧的噪声。为了解决这种复杂但常见的情况，我们研究了一种基于深度学习的联合框架，该框架将降噪（NR）与听力增强（LE）集成在一起，其中NR模块首先抑制噪声，然后LE模块修改去噪语音，即，NR模块的输出，以进一步提高语音清晰度。因此，增强的语音可以更少噪声并且对于收听者来说更容易理解。实验结果表明，我们提出的方法取得了可喜的成果，显着优于不相交处理方法在各种语音评价指标。
2022-03-22 cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab（腾讯人工智能实验室）
声学回声消除在全双工语音通信中起着重要的作用，同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中，我们提出了一个全深度学习框架，隐式估计回声/噪声和目标语音的二阶统计量，并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明，该模型可以与说话人嵌入更好的目标语音增强，并进一步开发一个分支的自动增益控制（AGC）的任务，形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University（约翰斯·霍普金斯大学）
基于双向长短期记忆（BLSTM）神经网络的谱掩模估计已广泛应用于各种语音增强应用中，并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而，当这些掩模用于单通道语音增强时，它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合，使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion（信息与通信技术振兴院）；Microsoft Research Asia（微软亚洲研究院）
近年来，对用于端到端语音编码的自监督学习方法的兴趣激增，因为它们取得了巨大的成功。特别是，WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效，在这项工作中，我们设计并进行了一系列实验，结合WavLM和两个高质量的语音增强系统的三个资源条件。此外，我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置，以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明，WavLM有利于语音增强任务的语音质量和语音识别精度，特别是对于低微调资源。对于高微调资源条件，仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield（谢菲尔德大学）；TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文识别了感知度量驱动的语音增强网络中的幻觉问题，即增强系统通过欺骗语音质量预测器来引入幻觉，并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University（名古屋大学）
基于深度神经网络（DNN）的语音增强通常使用干净的语音作为训练目标。然而，很难收集大量干净的语音，因为录音成本很高。换句话说，当前语音增强的性能受到训练数据量的限制。为了放宽该限制，已经提出了利用噪声语音作为训练目标的噪声目标训练（NyTT）。虽然实验表明，NyTT可以训练DNN而无需干净的语音，但尚未进行详细的分析，并且其行为尚未得到很好的理解。在本文中，我们进行各种分析，以加深我们对NyTT的理解。此外，基于NyTT的属性，我们提出了一种改进的方法，该方法与使用干净语音的方法相当。此外，我们表明，我们可以提高性能，通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions
Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习的时域模型，例如Conv-TasNet，在单通道和多通道语音增强方面都显示出巨大的潜力。然而，时域语音增强模型的实验大多是在模拟环境下进行的，其良好的性能能否推广到实际应用中还没有得到很好的研究。在本文中，我们的目的是提供一个有见地的调查应用多通道Conv-TasNet为基础的语音增强的模拟和真实数据。我们的初步实验表明，在ASR性能方面，两种条件之间存在很大的性能差距。有几种方法被用来缩小这一差距，包括将多通道Conv-TasNet集成到具有各种策略的波束形成模型中，以及语音增强和语音识别模型的联合训练。在CHiME-4语料库上的实验表明，本文提出的方法在保持前端强大的语音增强能力的同时，可以大大降低仿真数据与真实数据之间的语音识别性能差异。
2021-10-27 cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S（RTX公司）；Aalborg University（奥尔堡大学）
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近，它已被证明，这个问题的最佳解决方案，需要考虑在两个环境中的噪声源联合。然而，现有的基于最佳互信息的方法需要一个复杂的系统模型，包括自然语音变化，并依赖于近似和假设的基础信号分布。在本文中，我们建议使用一个更简单的信号模型，并优化语音清晰度的近似语音清晰度指数（ASII）的基础上。我们推导出一个封闭形式的解决方案的联合远，近端语音增强的问题，是独立的信号系数的边缘分布，并达到类似的性能，现有的工作。此外，我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
Breaking the trade-off in personalized speech enhancement with cross-task knowledge distillation
Microsoft Research（微软研究院）
与无条件语音增强模型相比，个性化语音增强（PSE）模型具有去除干扰语音和背景噪声的能力，因此获得了令人满意的结果。与无条件语音增强不同，因果PSE模型可能偶尔错误地移除目标语音。当目标说话者长时间沉默时，PSE模型也倾向于泄漏干扰语音。我们表明，现有的PSE方法遭受语音过抑制和干扰泄漏之间的权衡，解决一个问题的代价是其他。我们提出了一个新的PSE模型训练框架，使用跨任务的知识蒸馏，以减轻这种权衡。具体来说，我们利用个性化的语音活动检测器（pVAD）在训练过程中，排除非目标语音帧被错误地识别为包含目标扬声器与硬或软分类。这防止PSE模型过于激进，同时仍然允许模型学习在输入语音可能由干扰说话者说出时抑制输入语音。全面的评估结果，涵盖各种PSE的使用场景。
2022-11-05 cs.SD eess.AS
DDS: A new device-degraded speech dataset for speech enhancement
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学）
在不受控制的环境中，消费级设备上记录了现实生活中大量且不断增长的语音内容，导致语音质量下降。将这种低质量的设备降级语音转换成高质量语音是语音增强（SE）的目标。本文介绍了一种新的语音数据集，DDS，以促进对SE的研究。DDS提供高质量语音（在专业录音室录制）和低质量语音的多个版本的对齐平行录音，产生约2，000小时的语音数据。DDS数据集通过结合不同的声学环境和麦克风设备，涵盖了27种真实的录音条件，每个条件版本由来自六个麦克风位置的多个录音组成，以模拟不同的噪声和混响水平。我们还测试了几个SE基线系统的DDS数据集，并显示记录多样性对性能的影响。
2022-03-22 cs.SD eess.AS
LPCSE: Neural Speech Enhancement through Linear Predictive Coding
University of Chinese Academy of Sciences（中国科学院大学）；Terminus Group（特斯联集团）；University College London（伦敦大学学院）；The University of Sheffield（谢菲尔德大学）
对5G/B5 G通信系统中的体验质量的日益严格的要求已经导致了新兴的神经语音增强技术，然而，神经语音增强技术已经与语音发音和失真的现有的基于专家规则的模型（诸如经典的线性预测编码（LPC）语音模型）隔离地开发，因为难以将模型与自动可区分的机器学习框架集成。在本文中，为了提高神经语音增强的效率，我们介绍了一种基于LPC的语音增强（LPCSE）架构，它利用了强归纳偏见的LPC语音模型结合神经网络的表达能力。在LPCSE中通过两个新颖的块实现可区分的端到端学习：一个块利用专家规则来减少将LPC语音模型集成到神经网络中时的计算开销，以及一个块通过将线性预测系数映射到滤波器极点来确保模型的稳定性并避免端到端训练中的梯度爆炸。实验结果表明，LPCSE能有效地恢复因传输损耗而失真的语音共振峰，在LJ语音语料上的语音质量感知评价（PESQ）和短时客观可懂度（STOI）方面优于现有的两种同等规模的神经网络语音增强方法.
2022-06-22 cs.SD eess.AS
A Framework for Unified Real-time Personalized and Non-Personalized Speech Enhancement
Amazon Web Services（亚马逊云科技）
在这项研究中，我们提出了一种方法来训练一个单一的语音增强网络，可以执行个性化和非个性化的语音增强。这是通过合并指定增强输出类型的逐帧调节输入来实现的。为了提高增强输出的质量并减轻过度抑制，我们尝试通过语音活动的存在或不存在来重新加权帧，并将增强应用于扬声器嵌入。通过在多任务学习设置下进行训练，我们经验性地表明，所提出的统一模型在个性化和非个性化语音增强基准上都获得了令人满意的结果，并且达到了与专门针对任一任务训练的模型相似的性能。所提出的方法的强大性能表明，统一的模型是一个更经济的替代品相比，保持单独的任务特定的模型在推理过程中。
2023-02-23 cs.SD eess.AS
End-to-end speech enhancement based on discrete cosine transform
Beijing University of Posts and Telecommunications（北京邮电大学）
由于语音信号具有短时稳定性，以往的语音增强方法主要集中在短时谱估计上。然而，这些方法往往只估计干净的幅度谱和重用的噪声相位时，重新合成语音信号，这是不可能有效的短时傅立叶变换（STFT）。目前，基于动态神经网络的语音增强方法主要是幅度谱和相位谱的联合估计。这些方法通常给出比幅度谱估计更好的性能，但需要更大的计算和存储开销。在本文中，我们提出使用离散余弦变换（DCT）重建一个有效的短时频谱。在U-net结构下，我们对真实的声谱图进行了增强，最终达到了理想的性能。
2019-10-22 cs.SD eess.AS
Speech Enhancement with Intelligent Neural Homomorphic Synthesis
Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
大多数神经网络语音增强模型通过直接映射傅立叶变换频谱或波形而忽略语音产生数学模型。在这项工作中，我们提出了一个神经源滤波器网络的语音增强。具体地说，我们使用同态信号处理和倒谱分析来获得含噪语音的激励和声道。与传统的信号处理不同，我们使用一个专注递归网络（ARN）模型预测的比率掩模来代替提升分离函数。然后，使用两个卷积注意递归网络（CARN）网络分别预测干净语音的激励和声道。系统的输出是从估计的激励和人声合成的。实验证明，我们提出的方法性能更好，与FullSubNet相比，SI-SNR提高了1.363dB。
2022-10-28 cs.SD eess.AS
A Conformer-based ASR Frontend for Joint Acoustic Echo Cancellation, Speech Enhancement and Speech Separation
Google LLC（谷歌有限责任公司）
我们提出了一种提高自动语音识别（ASR）的鲁棒性的前端，该前端在单个模型中联合实现三个模块：声学回声消除、语音增强和语音分离。这通过使用上下文增强神经网络来实现，该上下文增强神经网络可以可选地利用不同类型的侧输入：（1）回放音频的参考信号，其对于回声消除是必要的;（2）噪声上下文，其对于语音增强是有用的;以及（3）表示感兴趣的目标说话者的语音特征的嵌入向量，这不仅在语音分离中是关键的，而且有助于回声消除和语音增强。我们提出了详细的评估表明，联合模型的性能几乎以及特定于任务的模型，并显着降低在嘈杂的条件下，即使使用大规模的最先进的ASR模型的单词错误率。与噪声基线相比，联合模型在低信噪比条件下将回声消除数据集上的单词错误率降低了至少71%，在噪声数据集上降低了10%，在多说话者数据集上降低了26%。与特定于任务的模型相比，联合模型在回声消除数据集上的性能在10%以内，在噪声数据集上的性能在2%以内，在多说话者数据集上的性能在3%以内。
2021-11-18 cs.SD eess.AS
ctPuLSE: Close-Talk, and Pseudo-Label Based Far-Field, Speech Enhancement
Department of Computer Science and Engineering, Southern University of Science and Technology（计算机科学与工程系，南方科技大学）
针对神经语音增强模型对真实数据泛化性差的问题，本文提出ctPuLSE方法，利用近讲增强生成伪标签，直接在真实远场混合信号上训练模型，在CHiME-4上验证了其有效性。
2025-09-24 cs.SD eess.AS
A Speech Enhancement Algorithm based on Non-negative Hidden Markov Model and Kullback-Leibler Divergence
Aalborg University（奥尔堡大学）；Capturi A/S（Capturi公司）
提出了一种基于Kullback-Leibler散度的非负矩阵分解（NMF）和隐马尔可夫模型（NMF-HMM）相结合的有监督单通道语音增强方法。隐马尔可夫模型的应用，可以考虑语音信号的时间动态信息。在训练阶段，Poisson的和，导致KL发散度量，被用作HMM每个状态的观察模型。这确保了计算上有效的乘法更新可以用于所提出的模型的参数更新。在在线增强阶段，我们提出了一种新的最小均方误差（MMSE）估计建议NMF-HMM。该估计器可以使用并行计算来实现，从而节省了时间复杂度。所提出的算法的性能进行了客观的措施。实验结果表明，该策略比现有的语音增强方法具有更好的语音增强性能。与传统的基于NMF的语音增强方法相比，该算法的短时客观可懂度（STOI）提高了5%，语音质量感知评价（PESQ）提高了0.18%.
2020-06-30 cs.SD eess.AS
Self-supervised Learning for Speech Enhancement
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
单通道语音增强的监督学习需要仔细标记的训练示例，其中将噪声混合输入到网络中，并训练网络以产生接近理想目标的输出。为了放松对训练数据的条件，我们考虑以自监督的方式训练语音增强网络的任务。我们首先使用有限的干净语音训练集，并通过对其幅度谱图进行自动编码来学习潜在表示。然后，我们自动编码的语音混合记录在嘈杂的环境和训练产生的自动编码器共享一个潜在的代表性与干净的例子。我们表明，使用这种训练模式，我们现在可以使用一个可自主训练的网络将嘈杂的语音映射到其干净的版本，而不需要标记的训练示例或人工干预。
2020-06-18 cs.SD eess.AS
Single-Microphone Speech Enhancement and Separation Using Deep Learning
鸡尾酒会问题包括理解复杂声学环境中的语音信号的挑战性任务，其中多个扬声器和背景噪声信号同时干扰感兴趣的语音信号。在这种复杂的声学情况下，能够有效地提高语音可懂度和语音信号的质量的信号处理算法是非常需要的。特别是对于涉及移动通信设备和听力辅助设备的应用。由于机器学习技术的重新出现，今天被称为深度学习，与这些算法相关的挑战可能会被克服。在这篇博士论文中，我们研究和开发了基于深度学习的技术，用于鸡尾酒会问题的两个子学科：单麦克风语音增强和单麦克风多说话者语音分离。具体而言，我们对基于现代深度学习的单麦克风语音增强算法的泛化能力进行了深入的实证分析。我们表明，这样的算法的性能是密切相关的训练数据，和良好的泛化能力，可以实现精心设计的训练数据。此外，我们提出了uPIT，一种基于深度学习的单麦克风语音分离算法，并报告了与说话者无关的多说话者语音分离任务的最新结果。此外，我们表明，uPIT工程以及联合语音分离和增强没有明确的先验知识的噪声类型或扬声器的数量。最后，我们表明，基于深度学习的语音增强算法，旨在最大限度地减少经典的短时谱幅度均方误差导致增强的语音信号，这是本质上最佳的STOI，一个国家的最先进的语音清晰度估计。
2018-12-04 cs.SD eess.AS
On TasNet for Low-Latency Single-Speaker Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
近年来，语音处理算法取得了巨大的进步，主要是由于深度学习的复兴。这对于语音分离尤其如此，其中时域音频分离网络（TasNet）已经导致了显着的改进。然而，对于单说话者语音增强的相关任务，这是显而易见的重要性，它仍然是未知的，如果TasNet架构同样成功。在本文中，我们表明，TasNet提高了最先进的语音增强，并实现了最大的增益调制噪声源，如语音。此外，我们表明，TasNet学习一个有效的内域表示，其中目标和噪声信号分量是高度可分离的。对于干扰语音信号的噪声来说尤其如此，这可以解释为什么TasNet在分离任务中表现如此出色。此外，我们表明，TasNet表现不佳的大帧跳数和猜测，混叠可能是这种性能下降的主要原因。最后，我们证明了TasNet始终优于最先进的单扬声器语音增强系统。
2021-03-27 cs.SD eess.AS
A Flow-Based Neural Network for Time Domain Speech Enhancement
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
语音增强涉及目标语音信号与干扰背景的区分。尽管近年来使用变分自编码器或生成对抗网络（GANs）的生成方法越来越多地被使用，但基于归一化流（NF）的系统仍然很少，尽管它们在相关领域取得了成功。因此，在本文中，我们提出了一个NF框架，直接建模的增强过程中的密度估计干净的语音话语的条件下，他们的嘈杂的同行。来自语音合成的WaveGlow模型适于使得能够在时域中直接增强有噪声的话语。此外，我们还证明了非线性输入压扩通过均衡输入样本的分布来提高模型性能。对公开数据集的实验评估显示，与当前最先进的基于GAN的方法相比，结果相当，同时使用客观评估指标超越了所选基线。
2021-06-16 cs.SD eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab（vivo人工智能实验室）；Trinity College Dublin（都柏林大学三一学院）
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响，因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架，涉及语音增强的视觉信息，通过结合生成对抗网络（GAN）。具体地说，提出的视觉语音增强GAN由两个以对抗方式训练的网络组成：i）一个采用多层特征融合卷积网络增强输入含噪语音的生成器，ii）一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明，该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University（俄亥俄州立大学）
虽然深度学习系统在语音增强研究中取得了显著进展，但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是，语音反馈是罕见的语音增强的研究，即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统，并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈，即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据，我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs（Facebook现实实验室）
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下，所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中，我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估（3QUEST）的语音平均意见分数（SMOS）和噪声MOS（NMOS）的近场和远场应用的指标。此外，所提出的语音增强方法大大提高了信噪比（SNR）和主观听觉体验。相比之下，传统的语音增强方法虽然增加了NMOS和SNR，但降低了SMOS。此外，所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Deep neural network techniques for monaural speech enhancement: state of the art analysis
University of Cambridge（剑桥大学）
本文综述了深度神经网络在单声道语音增强中的主流技术，涵盖特征提取、全局与局部特征建模、监督与无监督训练及预训练模型应用，旨在总结该领域的主要趋势。
2023-06-20 cs.LG cs.SD eess.AS
Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG（拜耳公司）；Idiap Research Institute（伊迪亚普研究所）
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响，发现该模型会丢失病理声学线索，但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
Unsupervised Speech Enhancement using Data-defined Priors
本文提出双分支编码器-解码器与对抗训练框架，利用不成对干净语音和噪声数据定义先验，实现无监督语音增强，并揭示域内干净数据会导致性能评估过于乐观。
2025-09-26 cs.AI cs.SD eess.AS
Whispered-to-voiced Alaryngeal Speech Conversion with Generative Adversarial Networks
1 Universitat Polit\`ecnica de Catalunya, Barcelona, Spain 2 Telef\'onica Research, Barcelona, Spain 3 Universidad de M\'alaga, M\'alaga, Spain
大多数用于失音症患者的声音恢复方法要么产生低声讲话，要么产生单调讲话。除了可理解性之外，这种类型的语音由于缺乏音高（耳语语音）或人工生成音高（单调语音）而缺乏表现力和自然性。用于恢复韵律信息的现有技术通常将参数化语音信号的声码器与预测韵律信息的机器学习技术组合。相反，本文描述了一种端到端的神经方法，用于从低声的喉音语音中估计全浊音语音波形。通过调整我们以前的工作在语音增强与生成对抗网络，我们开发了一个说话人相关的模型来执行耳语到有声语音转换。初步的定性结果表明，在重新生成有声语音的有效性，与现实的音高轮廓的创建。
2018-11-05 cs.LG cs.SD eess.AS
Improving Speech Enhancement through Fine-Grained Speech Characteristics
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
虽然基于深度学习的语音增强系统在提高语音信号的质量方面取得了快速进展，但它们仍然可以产生包含伪像并且听起来不自然的输出。我们提出了一种新的语音增强方法，旨在通过优化语音的关键特征来提高增强信号的感知质量和自然度。我们首先确定关键的声学参数，已被发现与语音质量（如抖动，微光，和频谱通量），然后提出目标函数，其目的是减少干净的语音和增强语音之间的差异相对于这些功能。完整的声学特征集是扩展的Geneva声学参数集（eGeMAPS），其包括与语音感知相关联的25个不同属性。鉴于这些特征计算的不可微性质，我们首先构建eGeMAPS的可微估计器，然后使用它们来微调现有的语音增强系统。我们的方法是通用的，可以应用于任何现有的基于深度学习的增强系统，以进一步改善增强的语音信号。在深度噪声抑制（DNS）挑战数据集上进行的实验结果表明，我们的方法可以改进最先进的基于深度学习的增强系统。
2022-07-11 cs.LG cs.SD eess.AS
Speech Enhancement In Multiple-Noise Conditions using Deep Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
在本文中，我们考虑的问题，语音增强在现实世界中的条件下，多个噪声可以同时损坏的语音。目前大多数关于语音增强的文献主要集中在远离真实世界环境的受损语音中存在的单个噪声。具体来说，我们处理在办公室环境中，多个固定以及非固定噪声可以同时存在于语音中，以提高语音质量。我们提出了几种基于深度神经网络（DNN）的语音增强策略。我们还研究了一种基于语音编码心理声学模型的DNN训练策略，用于增强带噪语音
2016-05-09 cs.SD
Generic Speech Enhancement with Self-Supervised Representation Space Loss
本文提出一种基于自监督学习模型特征表示域距离最小化的新型训练准则，构建通用语音增强前端，在保持感知质量的同时提升多下游任务性能。
2025-07-10 cs.SD eess.AS eess.SP
iSEGAN: Improved Speech Enhancement Generative Adversarial Networks
Idiap Research Institute（IDIAP研究所）
流行的基于神经网络的语音增强系统对幅度谱图进行操作，并且忽略有噪语音信号与干净语音信号之间的相位失配。条件生成对抗网络（cGAN）通过直接将原始噪声语音波形映射到底层的干净语音信号，在解决相位失配问题方面表现出了希望。然而，稳定和训练cGAN系统是困难的，它们仍然达不到频谱增强方法所实现的性能。本文研究了不同的归一化策略和单侧标签平滑是否可以进一步稳定基于cGAN的语音增强模型。此外，我们还提出了一个基于伽玛音的听觉过滤层和一个可训练的预加重层，以进一步提高cGAN框架的性能。仿真结果表明，所提出的方法提高了cGAN系统的语音增强性能，除了产生改进的稳定性和减少的计算工作量。
2020-02-20 cs.SD eess.AS eess.SP
Learning with Learned Loss Function: Speech Enhancement with Quality-Net to Improve Perceptual Evaluation of Speech Quality
National Taiwan University（台湾大学）
利用与人的感知相关的目标函数来训练语音增强模型是近年来的一个热门课题。主要原因是传统的均方误差（MSE）损失不能很好地代表听觉感知。一个典型的人类感知相关的度量，这是语音质量的感知评价（PESQ），已被证明提供了一个高度相关的质量评分由人类。然而，由于其复杂和不可微的特性，PESQ函数可能无法直接用于优化语音增强模型。在这项研究中，我们提出了优化增强模型与近似PESQ函数，这是可微的，从训练数据学习。实验结果表明，学习的代理函数可以指导增强模型进一步提高PESQ分数（与MSE损失训练结果相比提高0.18分），并保持语音清晰度。
2019-11-14 cs.LG cs.SD eess.AS
Speaker Re-identification with Speaker Dependent Speech Enhancement
University of Sheffield（谢菲尔德大学）
虽然深度神经网络的使用显著提高了说话人识别性能，但在声学环境较差的情况下分离说话人仍然具有挑战性。这里，语音增强方法传统上允许改进的性能。最近的工作表明，适应语音增强可以导致进一步的增益。提出了一种将语音增强和说话人识别相结合的新方法。在第一步中，生成说话人嵌入向量，在第二步中使用该向量来增强语音质量并重新识别说话人。模型在具有联合优化的集成框架中进行训练。该方法使用Voxceleb1数据集进行评估，该数据集旨在评估现实世界中的说话人识别。此外，在这项工作中加入了三种不同信噪比的噪声。实验结果表明，在各种噪声条件下，与两个基线相比，基于说话人的语音增强方法具有更好的说话人识别和语音增强性能。
2020-08-27 cs.CL cs.SD eess.AS
Bone-conduction Guided Multimodal Speech Enhancement with Conditional Diffusion Models
Signal Processing Group, University of Hamburg, Germany（汉堡大学信号处理组）
本文提出一种基于条件扩散模型的多模态语音增强框架，通过整合骨传导传感器与空气传导麦克风，有效提升极端噪声环境下的语音增强性能。
2026-01-18 cs.LG cs.SD eess.AS
Spoken Speech Enhancement using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们演示了使用生成对抗网络（GAN）为基础的模型，门控递归单元（GRU）回归为基础的模型，时间卷积网络（TCN）回归模型，最后使用混合TCN GRU回归模型使用脑电图（EEG）信号的语音增强。我们比较了我们的基于EEG的语音增强的结果与传统的对数最小均方误差（MMSE）语音增强算法和我们提出的方法表现出显着的改善语音增强质量相比，传统的方法。我们的总体结果表明，EEG功能可以用来清洁语音记录在存在背景噪声。据我们所知，这是第一次口头语音增强证明使用EEG功能记录在并行与口头讲话。
2020-04-19 cs.LG cs.SD eess.AS
Full Attention Bidirectional Deep Learning Structure for Single Channel Speech Enhancement
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
语音增强作为语音识别和语音合成等重要技术的基础，是音频信号处理的一个关键领域。本文提出了一种新的语音增强深度学习结构。该模型引入了一个“充分”的注意力机制的双向序列到序列的方法，利用潜在的信息后，每个焦点帧。这是先前基于注意力的RNN方法的扩展。与OM-LSA，CNN-LSTM，T-GSA和单向基于注意力的LSTM基线相比，所提出的基于双向注意力的架构在语音质量（PESQ）方面实现了更好的性能。
2021-08-27 cs.LG cs.SD eess.AS
High Fidelity Speech Regeneration with Application to Speech Enhancement
Tel Aviv University（特拉维夫大学）
语音增强技术近年来取得了很大的进步，主要是通过去噪，说话人分离和去混响方法，主要是处理环境对声乐音频的影响。为了增强语音超出原始信号的限制，我们采取再生的方法，其中我们从语音的本质，包括半识别的语音，韵律特征，和身份重新创建的语音。我们提出了一个波到波的语音生成模型，可以生成24位语音在一个实时的方式，并利用一个紧凑的语音表示，组成的ASR和身份特征，以实现更高水平的可理解性。受语音转换方法的启发，我们进行训练以增强语音特征，同时使用辅助身份网络来保留源的身份。感知声学指标和主观测试表明，该方法获得了宝贵的改进，最近的基线。
2021-01-31 cs.LG cs.SD eess.AS
EPG2S: Speech Generation and Speech Enhancement based on Electropalatography and Audio Signals using Multimodal Learning
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Central University（国立中央大学）
本文提出多模态EPG2S系统，利用腭电图与音频信号实现语音生成与增强，实验证明晚期融合策略效果最佳。
2022-06-16 cs.LG cs.SD eess.AS
Conditional Diffusion Probabilistic Model for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research（现实实验室研究院）；Academia Sinica（中央研究院）
语音增强是许多面向用户的音频应用的关键组成部分，然而当前系统仍然遭受失真和不自然的输出。虽然生成模型在语音合成中显示出了强大的潜力，但在语音增强方面仍然落后。这项工作利用扩散概率模型的最新进展，并提出了一种新的语音增强算法，将观察到的噪声语音信号的特性到扩散和逆过程。更具体地说，我们提出了一个广义的公式的扩散概率模型命名为条件扩散概率模型，在其逆过程中，可以适应非高斯真实噪声的估计语音信号。在我们的实验中，我们证明了所提出的方法与代表性的生成模型相比具有很强的性能，并研究了我们的模型对其他具有训练过程中看不到的噪声特征的数据集的泛化能力。
2022-02-10 cs.LG cs.SD eess.AS
Towards Generalized Speech Enhancement with Generative Adversarial Networks
Amazon Research（亚马逊研究院）
语音增强的任务通常包括去除加性噪声或混响，这些噪声或混响部分掩盖了口语，影响了它们的可懂度。然而，很少有人注意到其他的，也许更积极的信号失真，如削波，块消除，或频带去除。这种失真不仅对可懂度，而且对自然度甚至说话人身份都有很大的影响，并且需要仔细的信号重建。在这项工作中，我们充分考虑了这种广义的语音增强任务，并表明它可以用时域生成对抗网络（GAN）来解决。特别是，我们扩展了以前的基于GAN的语音增强系统，以处理四种类型的侵略性失真的混合物。首先，我们提出了一个对抗性的声学回归损失，促进了更丰富的特征提取的边缘。其次，我们还使用了两步对抗训练计划，作为热身和微调序列。客观和主观评价表明，这两个增加带来了改进的语音重建，更好地匹配原始扬声器的身份和自然。
2019-04-06 cs.LG cs.SD eess.AS
On Loss Functions for Supervised Monaural Time-Domain Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
许多基于深度学习的语音增强算法被设计为最小化预测和目标语音信号之间的某个变换域中的均方误差（MSE）。然而，优化MSE并不一定保证高的语音质量或可懂度，这是许多语音增强算法的最终目标。此外，关于损失函数对新兴的基于时域深度学习的语音增强系统的影响知之甚少。我们研究了流行的损失函数如何影响基于深度学习的语音增强系统的性能。首先，我们证明了感知启发损失函数可能是有利的，如果接收器是人类听觉系统。此外，我们表明，学习率是一个重要的设计参数，即使是自适应梯度为基础的优化，这在文献中被普遍忽视。此外，我们发现必须谨慎使用波形匹配性能指标，因为它们在某些情况下可能完全失败。最后，我们表明，一个损失函数的尺度不变的信号失真比（SI-SDR）的基础上实现了良好的一般性能在一系列流行的语音增强评价指标，这表明，SI-SDR是一个很好的候选人作为通用的损失函数语音增强系统。
2020-01-30 cs.LG cs.SD eess.AS
Single-channel Speech Dereverberation via Generative Adversarial Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种基于卷积、双向长短期记忆和深度前馈神经网络（CBLDNN）的单通道语音去混响系统（DeReGAT）。为了获得更好的语音质量，而不是仅仅最小化均方误差（MSE），GAT被用来使去混响语音与干净样本不可区分。此外，我们的系统可以处理大范围的混响，并能很好地适应不同的环境。实验结果表明，该模型优于加权预测误差（WPE）和基于深度神经网络的系统。此外，DeReGAT扩展到一个在线语音去混响的情况下，报告与离线的情况下相当的性能。
2018-06-25 cs.CL cs.SD eess.AS
Time-domain Speech Enhancement with Generative Adversarial Learning
Harbin Engineering University（哈尔滨工程大学）；ByteDance（字节跳动）；University of Surrey（萨里大学）
语音增强的目的是从含噪语音中获得高清晰度和高质量的语音信号。最近的工作已经证明了时域深度学习方法（如Conv-TasNet）的出色性能。然而，这些方法可以退化的任意尺度的波形引起的尺度不变的信噪比（SI-SNR）的损失。本文提出了一种新的时域语音增强生成对抗网络（TSE GAN）框架，它是生成对抗网络（GAN）在时域上的扩展，具有度量评估功能，以减轻缩放问题，并提供模型训练稳定性，从而实现性能改进。此外，本文还提出了一种基于目标函数映射的度量GAN性能理论分析方法，并解释了其优于Wasserstein GAN的原因。实验结果表明了该方法的有效性，说明了度量GAN的优越性.
2021-09-19 cs.LG cs.SD eess.AS
A Training Framework for Stereo-Aware Speech Enhancement using Deep Neural Networks
Microsoft（微软）
基于深度学习的语音增强近年来表现出前所未有的性能。最流行的单声道语音增强框架是端到端网络，其将噪声混合映射到干净语音的估计。随着计算能力的提高和多通道麦克风录音的可用性，先前的工作旨在将空间统计与频谱信息结合起来以提高性能。尽管单声道输出的增强性能有所改善，但空间图像保留和主观评价在文献中没有得到太多关注。本文提出了一种新的立体声感知的语音增强框架，用于基于深度学习的语音增强的训练损失，以在增强立体声混合的同时保留空间图像。所提出的框架是模型独立的，因此它可以应用于任何基于深度学习的架构。我们通过听力测试对训练模型进行广泛的客观和主观评估。我们表明，通过正则化的图像保存损失，整体性能得到改善，语音的立体声方面得到更好的保留。
2022-01-31 cs.LG cs.SD eess.AS
