High Fidelity Speech Regeneration with Application to Speech Enhancement
Tel Aviv University（特拉维夫大学）
语音增强技术近年来取得了很大的进步，主要是通过去噪，说话人分离和去混响方法，主要是处理环境对声乐音频的影响。为了增强语音超出原始信号的限制，我们采取再生的方法，其中我们从语音的本质，包括半识别的语音，韵律特征，和身份重新创建的语音。我们提出了一个波到波的语音生成模型，可以生成24位语音在一个实时的方式，并利用一个紧凑的语音表示，组成的ASR和身份特征，以实现更高水平的可理解性。受语音转换方法的启发，我们进行训练以增强语音特征，同时使用辅助身份网络来保留源的身份。感知声学指标和主观测试表明，该方法获得了宝贵的改进，最近的基线。
2021-01-31 cs.LG cs.SD eess.AS
EPG2S: Speech Generation and Speech Enhancement based on Electropalatography and Audio Signals using Multimodal Learning
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Central University（国立中央大学）
本文提出多模态EPG2S系统，利用腭电图与音频信号实现语音生成与增强，实验证明晚期融合策略效果最佳。
2022-06-16 cs.LG cs.SD eess.AS
Conditional Diffusion Probabilistic Model for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research（现实实验室研究院）；Academia Sinica（中央研究院）
语音增强是许多面向用户的音频应用的关键组成部分，然而当前系统仍然遭受失真和不自然的输出。虽然生成模型在语音合成中显示出了强大的潜力，但在语音增强方面仍然落后。这项工作利用扩散概率模型的最新进展，并提出了一种新的语音增强算法，将观察到的噪声语音信号的特性到扩散和逆过程。更具体地说，我们提出了一个广义的公式的扩散概率模型命名为条件扩散概率模型，在其逆过程中，可以适应非高斯真实噪声的估计语音信号。在我们的实验中，我们证明了所提出的方法与代表性的生成模型相比具有很强的性能，并研究了我们的模型对其他具有训练过程中看不到的噪声特征的数据集的泛化能力。
2022-02-10 cs.LG cs.SD eess.AS
On Loss Functions for Supervised Monaural Time-Domain Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
许多基于深度学习的语音增强算法被设计为最小化预测和目标语音信号之间的某个变换域中的均方误差（MSE）。然而，优化MSE并不一定保证高的语音质量或可懂度，这是许多语音增强算法的最终目标。此外，关于损失函数对新兴的基于时域深度学习的语音增强系统的影响知之甚少。我们研究了流行的损失函数如何影响基于深度学习的语音增强系统的性能。首先，我们证明了感知启发损失函数可能是有利的，如果接收器是人类听觉系统。此外，我们表明，学习率是一个重要的设计参数，即使是自适应梯度为基础的优化，这在文献中被普遍忽视。此外，我们发现必须谨慎使用波形匹配性能指标，因为它们在某些情况下可能完全失败。最后，我们表明，一个损失函数的尺度不变的信号失真比（SI-SDR）的基础上实现了良好的一般性能在一系列流行的语音增强评价指标，这表明，SI-SDR是一个很好的候选人作为通用的损失函数语音增强系统。
2020-01-30 cs.LG cs.SD eess.AS
A Training Framework for Stereo-Aware Speech Enhancement using Deep Neural Networks
Microsoft（微软）
基于深度学习的语音增强近年来表现出前所未有的性能。最流行的单声道语音增强框架是端到端网络，其将噪声混合映射到干净语音的估计。随着计算能力的提高和多通道麦克风录音的可用性，先前的工作旨在将空间统计与频谱信息结合起来以提高性能。尽管单声道输出的增强性能有所改善，但空间图像保留和主观评价在文献中没有得到太多关注。本文提出了一种新的立体声感知的语音增强框架，用于基于深度学习的语音增强的训练损失，以在增强立体声混合的同时保留空间图像。所提出的框架是模型独立的，因此它可以应用于任何基于深度学习的架构。我们通过听力测试对训练模型进行广泛的客观和主观评估。我们表明，通过正则化的图像保存损失，整体性能得到改善，语音的立体声方面得到更好的保留。
2022-01-31 cs.LG cs.SD eess.AS
Plugin Speech Enhancement: A Universal Speech Enhancement Framework Inspired by Dynamic Neural Network
China Mobile Research Institute（中国移动研究院）
本文提出插件式语音增强框架Plugin-SE，通过权重预测方法从下游训练信息中学习任务关系，并结合门控模块构建动态神经网络，以解决通用语音增强中下游模块特征感知不足的问题，实验证明其在多种下游任务上优于或媲美现有联合训练方法。
2024-02-20 cs.SD eess.AS
EARS: An Anechoic Fullband Speech Dataset Benchmarked for Speech Enhancement and Dereverberation
Universität Hamburg（汉堡大学）；Meta；Carnegie Mellon University（卡内基梅隆大学）
本文发布含107位说话人、100小时消声语音的 EARS 数据集，覆盖多样说话风格，并对语音增强与去混响方法进行客观指标、听辨测试及盲测在线评估。
2024-06-11 cs.LG cs.SD eess.AS
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；GIPSA-Lab（GIPSA实验室）
变分自动编码器（VAE）是深度生成潜变量模型，可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验，然后用于执行语音增强。这种生成方法的一个优点是，它在训练时不需要成对的干净和有噪声的语音信号。在本文中，我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE（CVAE）的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时，视听语音生成模型与基于非负矩阵分解的噪声模型相结合，语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明，提出的音视频CVAE模型有效地融合了音视频信息，与纯音频VAE模型相比，提高了语音增强性能，特别是在语音信号受噪声严重污染的情况下。我们还表明，所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
BLOOM-Net: Blockwise Optimization for Masking Networks Toward Scalable and Efficient Speech Enhancement
Indiana University（印第安纳大学）
在本文中，我们提出了一个基于掩蔽网络（BLOOM-Net）的分块优化方法，用于训练可扩展的语音增强网络。在这里，我们使用残差学习方案设计我们的网络，并按顺序训练内部分离器块，以获得用于语音增强的可扩展的基于掩蔽的深度神经网络。它的可伸缩性允许它根据测试时环境动态调整运行时复杂度。为此，我们模块化我们的模型，因为它们可以灵活地适应不同的需求，增强性能和资源的约束，产生最小的内存或训练开销，由于增加的可扩展性。我们对语音增强的实验表明，所提出的分块优化方法实现了所需的可扩展性，只有轻微的性能下降相比，相应的模型训练端到端。
2022-02-10 cs.LG cs.SD eess.AS
Spoken Speech Enhancement using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们演示了使用生成对抗网络（GAN）为基础的模型，门控递归单元（GRU）回归为基础的模型，时间卷积网络（TCN）回归模型，最后使用混合TCN GRU回归模型使用脑电图（EEG）信号的语音增强。我们比较了我们的基于EEG的语音增强的结果与传统的对数最小均方误差（MMSE）语音增强算法和我们提出的方法表现出显着的改善语音增强质量相比，传统的方法。我们的总体结果表明，EEG功能可以用来清洁语音记录在存在背景噪声。据我们所知，这是第一次口头语音增强证明使用EEG功能记录在并行与口头讲话。
2020-04-19 cs.LG cs.SD eess.AS
An Analysis of the Variance of Diffusion-based Speech Enhancement
University of Hamburg（汉堡大学）
本文分析 SGMSE+ 扩散语音增强中随机微分方程对方差的影响，证明方差尺度主导噪声衰减与语音失真的权衡，并可减少生成估计所需的函数评估次数。
2024-06-13 cs.LG cs.SD eess.AS
Unsupervised speech enhancement with deep dynamical generative speech and noise models
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；Grenoble-INP（格勒诺布尔国立理工学院）
该研究针对无监督语音增强任务，提出用深度动态生成模型（DDGM）替代传统非负矩阵分解噪声模型，支持三种训练配置，在性能比肩现有最优无监督方法的同时，噪声依赖训练配置可显著提升推理时间效率。
2023-06-13 cs.LG cs.SD eess.AS
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs Research（脸书现实实验室研究）
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中，我们探讨的方法，使监督语音增强系统训练真实世界的退化语音数据。具体来说，我们提出了一个半监督的语音增强方法，我们首先训练一个修改后的矢量量化变分自编码器，解决了源分离任务。然后，我们使用这个训练的自动编码器，进一步训练一个增强网络，使用现实世界的嘈杂的语音数据，通过计算一个基于三元组的无监督损失函数。实验表明，将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
High-Fidelity Speech Enhancement via Discrete Audio Tokens
ETH Zurich（苏黎世联邦理工学院）
针对现有自回归语音增强方法依赖复杂多阶段流程、适用场景受限的问题，提出采用离散高分辨率音频表示的DAC-SE1框架，在客观指标与人工评估中均优于现有最优方法，并公开相关资源以推动领域研究。
2025-10-02 cs.LG cs.SD eess.AS
On the Behavior of Intrusive and Non-intrusive Speech Enhancement Metrics in Predictive and Generative Settings
Universität Hamburg（汉堡大学）
本文比较同一语音增强骨干在预测式与生成式范式下的多种侵入式、非侵入式指标表现，揭示两类指标相关性随范式变化，呼吁建立无偏评估体系。
2023-06-05 cs.LG cs.SD eess.AS
Investigating the Design Space of Diffusion Models for Speech Enhancement
本研究扩展图像领域的扩散模型框架以适配语音增强任务，系统探究未被充分探索的设计维度，证明合理选择相关设计可在更少采样步骤下超越主流系统，计算成本降为原四分之一。
2024-10-08 cs.LG cs.SD eess.AS
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University（延世大学）
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题，提出采用特征归一化技术衔接模块，结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
On the Use of Audio Fingerprinting Features for Speech Enhancement with Generative Adversarial Network
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）
语音增强中基于学习的方法的出现已经恢复了对鲁棒且可靠的训练特征的需要，所述训练特征能够在保留语音信号的重要信息的同时对语音信号进行压缩表示。时间-频率域特征，例如短期傅里叶变换（STFT）和梅尔频率倒谱系数（MFCC），在许多方法中是优选的。虽然MFCC提供了紧凑的表示，但它们忽略了每个梅尔尺度子带中的能量的动态和分布。在这项工作中，语音增强系统的生成对抗网络（GAN）的基础上实现和测试的音频指纹（AFP）的功能从MFCC和归一化频谱子带质心（NSSC）的组合。NSSC捕获语音共振峰的位置，并以关键的方式补充MFCC。在不同说话人和噪声类型的实验中，基于GAN的语音增强与所提出的AFP特征组合实现了最佳的客观性能，同时减少了内存需求和训练时间。
2020-07-27 cs.LG cs.SD eess.AS
Investigating Cross-Domain Losses for Speech Enhancement
University of Stuttgart（斯图加特大学）
近年来，用于语音增强（SE）和识别的可用框架的数量激增。无论是基于模型还是通过深度学习构建，这些框架通常孤立地依赖于时域信号或语音数据的时频（TF）表示。在这项研究中，我们调查的优势，每一套方法分别检查其对语音清晰度和质量的影响。此外，我们通过引入两个新的跨域SE框架，结合了时域和TF语音表示的零散优势。针对最近的基于模型和深度学习SE方法进行定量比较分析，以说明所提出的框架的优点。
2021-05-30 cs.LG cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
Multi-View Attention Transfer for Efficient Speech Enhancement
Korea University（高丽大学）
最近的深度学习模型在语音增强方面取得了很高的性能;然而，在没有显著性能下降的情况下获得快速和低复杂度的模型仍然具有挑战性。以往的语音增强知识蒸馏研究由于其输出的蒸馏方法在某些方面不适合语音增强任务，无法解决这一问题。在这项研究中，我们提出了多视角注意转移（MV-AT），一个基于特征的蒸馏，以获得有效的语音增强模型在时域。MV-AT基于多视图特征提取模型，将教师网络的多视图知识传输到学生网络，无需额外参数。实验结果表明，该方法一致地提高了Valentini和深度噪声抑制（DNS）数据集上各种大小的学生模型的性能。使用我们提出的方法的MANNER-S-8.1GF是一种高效部署的轻量级模型，与具有类似性能的基线模型相比，参数和浮点运算（FLOPs）分别减少了15.4倍和4.71倍。
2022-10-31 cs.LG cs.SD eess.AS
Guided Speech Enhancement Network
Google LLC（谷歌有限责任公司）
由于语音通信和人机接口的原因，高质量的语音捕获已经被广泛研究。为了提高捕获性能，我们经常可以发现在各种设备上部署的多麦克风语音增强技术。多麦克风语音增强问题通常被分解为两个解耦的步骤：提供空间滤波的波束形成器和清除波束形成器输出的单通道语音增强模型。在这项工作中，我们提出了一个语音增强解决方案，将原始麦克风和波束形成器的输出作为ML模型的输入。我们设计了一个简单而有效的训练方案，该方案允许模型通过对比两个输入来从波束形成器的提示中学习，并大大提高其空间抑制能力，同时进行去噪和去混响的一般任务。所提出的解决方案利用经典的空间滤波算法，而不是与他们竞争。通过设计，波束形成器模块然后可以被单独选择，并且不需要针对给定的形状因子优化大量的数据，并且网络模型可以被认为是独立模块，其独立于麦克风阵列是高度可转移的。我们将解决方案中的ML模块命名为GSENet，即Guided语音增强网络的缩写。我们证明了它的有效性在多麦克风设备上收集的真实世界的数据在抑制噪声和干扰语音。
2023-03-13 cs.LG cs.SD eess.AS
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Adversarial Privacy Protection on Speech Enhancement
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
语音很容易在不知不觉中泄露，比如在不同的情况下被手机录下来。语音中的隐私内容可能通过语音增强技术被恶意提取。语音增强技术随着深度神经网络（DNN）的发展而迅速发展，但对抗性示例可能会导致DNN失败。在这项工作中，我们提出了一个对抗性的方法来降低语音增强系统。实验结果表明，生成的对抗性样例可以擦除原样例中的大部分内容信息，或者通过语音增强用目标语音内容替换。增强后的原始样本与增强后的对抗样本识别结果之间的单词出错率（WER）可达89.0%。增强对抗样本与目标样本的目标攻击WER较低，为33.75%。对抗扰动可以使原始示例的变化率超过1.4430。这项工作可以防止语音的恶意提取。
2022-06-16 cs.CR cs.LG cs.SD
A two-step backward compatible fullband speech enhancement system
Kuaishou Technology（快手科技）
基于深度学习的语音增强方法已经超越了传统方法。虽然这些新的方法中有许多是在宽带（16 kHz）的采样率，一个新的全带（48 kHz）的语音增强系统，本文提出。与现有的利用感知激励特征来使用单个网络结构训练全带语音增强的全带系统相比，所提出的系统是两步系统，其确保良好的全带语音增强质量，同时向后兼容于现有的宽带系统。
2022-01-28 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中，我们的目标是弥合这一差距，提取音素身份，以帮助语音增强。具体来说，我们提出了一个基于音素的分布正则化（PbDr）的语音增强，它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布，我们建议学习一个参数对，即规模和偏见，通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件，而且还包括频率方面的条件，其有效地将特征映射到音素相关分布。通过这种方式，我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明，该PbDr模块不仅可以提高语音增强的感知质量，而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题，将其作为从语音增强到歌声分离的域适应，研究全量微调和LoRA参数高效微调策略，实验表明两种策略均有效提升歌声分离性能，LoRA微调还能保留语音增强能力，证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London（帝国理工学院）
这份报告的重点是算法，执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强，即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制，并且在[2]、[1]、[3]和[4]中，设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要，因为这可以提供有助于开发新算法的见解。索引术语-语音增强，去混响，去噪，卡尔曼滤波器，最小均方误差估计。
2018-10-31 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
A Perceptual Weighting Filter Loss for DNN Training in Speech Enhancement
使用深度神经网络（DNN）的单通道语音增强已显示出有前途的性能，因此正在深入研究。在本文中，在用于语音增强的DNN训练期间，我们不是将均方误差（MSE）应用为损失函数，而是设计了由加权滤波器激励的感知加权滤波器损失，因为其用于合成分析语音编码，例如，码激励线性预测（CELP）实验结果表明，所提出的简单的损失函数提高了语音增强性能相比，参考DNN与MSE损失的感知质量和噪声衰减。所提出的损失函数可以有利地应用于现有的基于DNN的语音增强系统，而无需修改用于语音增强的DNN拓扑。提出的方法的源代码是可用的。
2019-08-18 cs.SD eess.AS
Scaling Speech Enhancement in Unseen Environments with Noise Embeddings
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
我们解决的问题，语音增强推广到看不见的环境，通过执行两个操作。首先，我们单独从环境中嵌入一个额外的记录，并使用此嵌入来改变主增强子网络中的激活。其次，我们将训练时存在的噪声环境的数量扩展到16，784个不同的环境。实验结果表明，这两种操作减少了字错误率的预训练语音识别系统和提高增强质量，根据一些性能指标。具体来说，我们的最佳模型将字错误率从噪声语音的34.04%降低到增强语音的15.46%。增强的音频示例可以在https://speechenhancement.page.link/samples中找到。
2018-10-26 cs.LG cs.SD eess.AS
Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement
National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学（SOKENDAI））
语音增强（SE）方法主要集中于从噪声输入中恢复干净的语音。然而，在现实世界的语音通信中，噪声往往不仅存在于说话者，而且存在于听者环境中。虽然SE方法可以抑制扬声器语音中包含的噪声，但它们不能处理实际存在于收听者侧的噪声。为了解决这种复杂但常见的情况，我们研究了一种基于深度学习的联合框架，该框架将降噪（NR）与听力增强（LE）集成在一起，其中NR模块首先抑制噪声，然后LE模块修改去噪语音，即，NR模块的输出，以进一步提高语音清晰度。因此，增强的语音可以更少噪声并且对于收听者来说更容易理解。实验结果表明，我们提出的方法取得了可喜的成果，显着优于不相交处理方法在各种语音评价指标。
2022-03-22 cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab（腾讯人工智能实验室）
声学回声消除在全双工语音通信中起着重要的作用，同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中，我们提出了一个全深度学习框架，隐式估计回声/噪声和目标语音的二阶统计量，并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明，该模型可以与说话人嵌入更好的目标语音增强，并进一步开发一个分支的自动增益控制（AGC）的任务，形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Effects of Lombard Reflex on the Performance of Deep-Learning-Based Audio-Visual Speech Enhancement Systems
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
当人们沉浸在嘈杂的环境中时，他们往往会改变自己的说话方式，这种反射被称为伦巴第效应。目前基于深度学习的语音增强系统通常不会考虑这种说话风格的变化，因为它们是用在安静条件下记录的中性（非伦巴第）语音话语进行训练的，其中人为添加了噪声。在本文中，我们研究了伦巴第反射对基于深度学习的视听语音增强系统性能的影响。结果表明，在中性语音训练的系统和伦巴第语音训练的系统之间存在高达约5 dB的性能差距。这表明在视听语音增强系统的设计中考虑中性语音和伦巴德语音之间的失配的益处。
2018-11-15 cs.LG cs.SD eess.AS
Alternating Approach-Putt Models for Multi-Stage Speech Enhancement
Department of Physics, Chungnam National University（Chungnam National University 物理系）
提出后处理网络PuttNet以减轻语音增强引入的伪影，通过交替使用增强模型与Putt模型提升语音质量，并证明该交替策略优于单一模型重复应用。
2025-08-14 cs.AI cs.LG cs.SD
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
Perceive and predict: self-supervised speech representation based loss functions for speech enhancement
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）；M Health Information Systems Inc.（3M健康信息系统公司）
本研究发现干净与带噪语音的自监督早期特征编码距离与语音质量及可懂度高度相关，将其作为损失函数训练语音增强模型，在PESQ和STOI等客观指标上优于STFT频谱图距离等常见损失函数。
2023-06-26 cs.CL cs.LG cs.SD
Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention
NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Waseda University（早稻田大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
本文研究了一种使用辅助说话者感知特征进行语音增强的自适应方法;我们直接从测试话语中提取用于自适应的说话者表示。基于深度神经网络（DNN）的语音增强的传统研究主要集中在建立说话人无关模型。同时，在包括语音识别和合成的语音应用中，已知的是，对目标说话者的模型自适应提高了准确性。我们的研究问题是，在测试阶段，在没有任何辅助引导信号的情况下，用于语音增强的DNN是否可以被采用到未知说话人。为此，我们采用了语音增强和说话人识别的多任务学习，并使用说话人识别分支的最终隐藏层的输出作为辅助特征。此外，我们使用多头自注意力来捕获语音和噪声中的长期依赖关系。在公共数据集上的实验结果表明，我们的策略达到了最先进的性能，也优于传统的方法在主观质量方面。
2020-02-14 cs.LG cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University（约翰斯·霍普金斯大学）
基于双向长短期记忆（BLSTM）神经网络的谱掩模估计已广泛应用于各种语音增强应用中，并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而，当这些掩模用于单通道语音增强时，它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合，使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University（俄亥俄州立大学）
虽然深度学习系统在语音增强研究中取得了显著进展，但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是，语音反馈是罕见的语音增强的研究，即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统，并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈，即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据，我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion（信息与通信技术振兴院）；Microsoft Research Asia（微软亚洲研究院）
近年来，对用于端到端语音编码的自监督学习方法的兴趣激增，因为它们取得了巨大的成功。特别是，WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效，在这项工作中，我们设计并进行了一系列实验，结合WavLM和两个高质量的语音增强系统的三个资源条件。此外，我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置，以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明，WavLM有利于语音增强任务的语音质量和语音识别精度，特别是对于低微调资源。对于高微调资源条件，仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield（谢菲尔德大学）；TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文识别了感知度量驱动的语音增强网络中的幻觉问题，即增强系统通过欺骗语音质量预测器来引入幻觉，并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
A Recurrent Variational Autoencoder for Speech Enhancement
CentraleSupélec（中央理工-高等电力学院）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
提出了一种基于递归变分自编码器（RVAE）的生成式语音增强方法。深度生成语音模型仅使用干净的语音信号来训练，并且其与非负矩阵分解噪声模型组合用于语音增强。我们提出了一种变分期望最大化算法，其中RVAE的编码器在测试时进行微调，以近似于噪声语音观测的潜变量的分布。与以前的基于前馈全连接架构的方法相比，所提出的递归深度生成语音模型在潜变量上引入了后验时间动态，这被证明可以改善语音增强结果。
2020-02-10 cs.AI cs.LG cs.NE
On the Role of Visual Cues in Audiovisual Speech Enhancement
Apple（苹果公司）
我们提出了一个视听语音增强模型的反省。特别是，我们专注于解释神经视听语音增强模型如何使用视觉线索，以提高目标语音信号的质量。我们发现，视觉线索不仅提供有关言语活动的高层次信息，即，语音/沉默，而且还有关于发音位置的细粒度视觉信息。这一发现的一个副产品是，学习的视觉嵌入可以用作其他视觉语音应用程序的功能。我们证明了学习的视觉嵌入分类视位（视觉类比音素）的有效性。我们的研究结果提供了深入了解视听语音增强的重要方面，并展示了如何使用这些模型的视觉语音应用程序的自我监督任务。
2021-02-25 cs.CL cs.CV cs.LG
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs（Facebook现实实验室）
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下，所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中，我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估（3QUEST）的语音平均意见分数（SMOS）和噪声MOS（NMOS）的近场和远场应用的指标。此外，所提出的语音增强方法大大提高了信噪比（SNR）和主观听觉体验。相比之下，传统的语音增强方法虽然增加了NMOS和SNR，但降低了SMOS。此外，所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University（安徽大学智能计算与信号处理教育部重点实验室）
骨导语音与气导语音相比，具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN（CycleGAN-DAL）用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射，其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比，它可以学习骨导语音和目标语音之间的特征映射，而无需额外的空气传导语音辅助。此外，所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明，该方法优于基线方法，如CycleGAN，GMM和BLSTM。关键词：骨导语音增强，双对抗损失，并行CycleGAN，高频语音重建
2021-11-02 cs.SD eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University（名古屋大学）
基于深度神经网络（DNN）的语音增强通常使用干净的语音作为训练目标。然而，很难收集大量干净的语音，因为录音成本很高。换句话说，当前语音增强的性能受到训练数据量的限制。为了放宽该限制，已经提出了利用噪声语音作为训练目标的噪声目标训练（NyTT）。虽然实验表明，NyTT可以训练DNN而无需干净的语音，但尚未进行详细的分析，并且其行为尚未得到很好的理解。在本文中，我们进行各种分析，以加深我们对NyTT的理解。此外，基于NyTT的属性，我们提出了一种改进的方法，该方法与使用干净语音的方法相当。此外，我们表明，我们可以提高性能，通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab（vivo人工智能实验室）；Trinity College Dublin（都柏林大学三一学院）
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响，因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架，涉及语音增强的视觉信息，通过结合生成对抗网络（GAN）。具体地说，提出的视觉语音增强GAN由两个以对抗方式训练的网络组成：i）一个采用多层特征融合卷积网络增强输入含噪语音的生成器，ii）一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明，该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Self-Supervised Speech Quality Estimation and Enhancement Using Only Clean Speech
NVIDIA（英伟达）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出VQScore自监督语音质量评估指标及基于向量量化与自蒸馏对抗训练的语音增强模型，仅用干净语音训练即可达到与监督基线相当的性能。
2024-02-26 cs.AI cs.LG cs.SD
Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions
Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习的时域模型，例如Conv-TasNet，在单通道和多通道语音增强方面都显示出巨大的潜力。然而，时域语音增强模型的实验大多是在模拟环境下进行的，其良好的性能能否推广到实际应用中还没有得到很好的研究。在本文中，我们的目的是提供一个有见地的调查应用多通道Conv-TasNet为基础的语音增强的模拟和真实数据。我们的初步实验表明，在ASR性能方面，两种条件之间存在很大的性能差距。有几种方法被用来缩小这一差距，包括将多通道Conv-TasNet集成到具有各种策略的波束形成模型中，以及语音增强和语音识别模型的联合训练。在CHiME-4语料库上的实验表明，本文提出的方法在保持前端强大的语音增强能力的同时，可以大大降低仿真数据与真实数据之间的语音识别性能差异。
2021-10-27 cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S（RTX公司）；Aalborg University（奥尔堡大学）
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近，它已被证明，这个问题的最佳解决方案，需要考虑在两个环境中的噪声源联合。然而，现有的基于最佳互信息的方法需要一个复杂的系统模型，包括自然语音变化，并依赖于近似和假设的基础信号分布。在本文中，我们建议使用一个更简单的信号模型，并优化语音清晰度的近似语音清晰度指数（ASII）的基础上。我们推导出一个封闭形式的解决方案的联合远，近端语音增强的问题，是独立的信号系数的边缘分布，并达到类似的性能，现有的工作。此外，我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
