Influence of Clean Speech Characteristics on Speech Enhancement Performance
本文系统研究干净语音的内在声学特性对语音增强性能的影响，发现共振峰幅度可稳定预测增强增益，并揭示说话人内部声学变异性对性能的重要性，为数据集、评估协议和模型设计提供新依据。
2025-09-23 eess.AS
Noisy-target Training: A Training Strategy for DNN-based Speech Enhancement without Clean Speech
基于深度神经网络（DNN）的语音增强通常需要干净的语音信号作为训练目标。然而，收集干净的信号是非常昂贵的，因为它们必须在演播室中记录。这个要求目前将用于语音增强的训练数据量限制到小于不需要干净信号的语音识别的训练数据量的1/1000。增加训练数据量对于提高性能是重要的，因此应该放宽对干净信号的要求。在本文中，我们提出了一种不需要干净信号的训练策略。所提出的方法只利用噪声信号进行训练，这使得我们能够使用各种语音信号在野外。我们的实验结果表明，该方法可以实现类似于使用干净信号训练的DNN的性能。
2021-05-10 eess.AS
A Perceptually-Motivated Approach for Low-Complexity, Real-Time Enhancement of Fullband Speech
在过去的几年里，基于深度学习的语音增强方法已经大大超越了基于谱减法和谱估计的传统方法。这些新技术中的许多直接在短时傅里叶变换（STFT）域中操作，导致高计算复杂度。在这项工作中，我们提出了PercepNet，一种有效的方法，依赖于人类的感知语音的频谱包络和语音的周期性。我们展示了高品质，实时增强的全频带（48 kHz）的语音与不到5%的CPU核心。
2020-08-27 eess.AS
An Exploration of Length Generalization in Transformer-Based Speech Enhancement
针对 Transformer 语音增强难以利用长语音训练的问题，本文系统比较四类位置嵌入，证明相对位置嵌入更能实现由短到长的长度泛化。
2024-06-17 eess.AS
Multi-channel end-to-end neural network for speech enhancement, source localization, and voice activity detection
语音增强和声源定位技术是近几十年来的研究热点，在实际应用中具有广泛的应用前景。最近，深度复杂卷积循环网络（DCCRN）为单通道系统带来了令人印象深刻的增强性能。在这项研究中，神经波束形成器组成的波束形成器和一种新的多通道DCCRN提出了语音增强和源定位。由多通道DCCRN估计的复值滤波器作为波束形成器的权重。此外，一个单阶段的学习为基础的过程是用于语音增强和源定位。建议的网络组成的多通道DCCRN和辅助网络模型的声场，同时最小化无失真的响应损失函数。仿真结果表明，该神经波束形成器能有效地增强语音信号，且语音质量保持良好。所提出的神经波束形成器还提供源定位和语音活动检测（VAD）功能。
2022-06-20 eess.AS
Mask-Based Speech Enhancement for Spatial Audio: A Comparison of Ambisonics, Beamforming, and Microphone Channels
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本研究系统比较了掩码语音增强在麦克风、波束成形和Ambisonics三种空间音频表示中的性能，发现波束成形域增强效果最佳，而Ambisonics域更利于保留空间属性。
2026-09-17 eess.AS
Masks Fusion with Multi-Target Learning For Speech Enhancement
最近，基于深度神经网络（DNN）的时频（T-F）掩模估计对于语音增强显示出显著的有效性。通常，首先基于DNN估计单个T-F掩码，然后用于掩蔽有噪语音的频谱图以抑制噪声。提出了一种多模板融合的语音增强方法。它同时估计两个互补的掩码，例如，理想比率掩模（IRI）和目标二进制掩模（TBM），然后将它们融合以获得用于语音增强细化掩模。新方法的优点是双重的。首先，同时估计多个互补掩模带来了多目标学习所赋予的益处。其次，多模板融合可以利用多个模板之间的互补性来提高语音增强的性能。实验结果表明，与传统的基于掩蔽的方法相比，该方法能显著提高PESQ，降低后端的识别错误率。代码可在https://github.com/lc-zhou/mask-fusion上获得。
2021-09-28 eess.AS
Progressive Speech Enhancement with Residual Connections
本文研究了基于深度神经网络的语音增强。所提出的架构逐渐遵循信号的转换，在增强过程中通过可视化探头在每个网络块。除了这个过程，增强性能的目视检查和回归成本方面的评估。该渐进式方案基于残差网络。在这个过程中，我们研究了一个具有恒定数量通道的剩余连接，包括块之间的内部状态，并添加渐进式监督。通过对网络增强过程的解释所提供的见解，我们设计了一种改进的架构来增强。遵循这种策略，我们能够获得超越最先进水平的语音增强结果，在去混响和频谱失真量之间实现有利的权衡。
2019-04-09 eess.AS
Importance of Different Temporal Modulations of Speech: A Tale of Two Perspectives
Johns Hopkins University（约翰斯·霍普金斯大学）
不同的时间语音调制对语音识别有多重要？我们从两个互补的角度回答这个问题。首先，我们量化语音的调制频谱中的语音\textit{information}的量，通过计算与帧级音素标签的时间调制之间的互信息。从另一个角度来看，我们问-语音调制的自动语音识别（ASR）系统更喜欢它的操作。数据驱动的权重在调制频谱上学习，并针对端到端ASR任务进行优化。这两种方法一致认为，语音信息主要包含在慢调制中。最大互信息出现在3-6 Hz附近，这也恰好是ASR最优选的调制范围。此外，我们还表明，将这些知识纳入ASR中可以显着降低它们对训练数据量的依赖性。
2023-03-22 cs.SD eess.AS
Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement
University of Hamburg（汉堡大学）
本文研究现代ASR模型与人类语音增强识别的关联，发现大规模噪声训练和嵌入语言模型的ASR模型更符合人类WER，但其噪声鲁棒性和上下文使用对声学评估不具信息性。
2026-05-12 eess.AS
Self-supervised Learning with Speech Modulation Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）
我们证明，训练一个基于多头自我注意力的深度网络来预测1.5秒内被删除的、信息密集的2-8 Hz语音调制，是一种有效的方法，可以让机器学习使用时域上下文信息来提取语音调制。我们的工作表明，一旦在大量未标记的数据上进行训练，自我注意层的输出会随着时间的推移而变化，调制峰值为4 Hz。这些预训练的层可用于初始化自动语音识别系统的部分，以大大减少其对标记语音数据的依赖。
2023-03-22 cs.SD eess.AS
SE Territory: Monaural Speech Enhancement Meets the Fixed Virtual Perceptual Space Mapping
针对单通道语音缺乏空间线索的问题，本文提出 SE-TerrNet，通过两阶段多任务学习将单通道语音映射到固定虚拟双耳空间并融合注意力特征，显著提升语音质量与可懂度。
2024-03-04 eess.AS
MeanSE: Efficient Generative Speech Enhancement with Mean Flows
MeanSE利用均值流建模平均速度场，实现单次函数评估的高质量生成式语音增强，显著优于流匹配基线并具备极佳域外泛化能力。
2025-09-25 eess.AS
ARiSE: Auto-Regressive Multi-Channel Speech Enhancement
本文提出ARiSE自回归多通道语音增强算法，利用先前帧估计的目标语音作为额外输入特征改进DNN逐帧在线增强，并设计并行训练机制加速训练，在含噪混响条件下验证了其有效性。
2025-06-06 eess.AS
Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement
为了进一步解决传统语音增强系统中由于忽略相位信息而导致的性能下降问题，提出了一种基于时域扩张卷积生成对抗网络（TDCGAN）的端到端语音增强结构。本文首次在GAN结构中引入了具有深度可分离卷积的时间扩张卷积网络，从而在不增加参数数量的情况下大大增加了感受野。我们还首次探讨了信噪比惩罚项作为生成器损失函数的正则化对提高增强语音信噪比的影响。实验结果表明，我们提出的方法优于最先进的端到端基于GAN的语音增强。此外，与以前的基于GAN的方法相比，所提出的TDCGAN可以大大减少参数的数量。正如预期的那样，工作还表明，信噪比惩罚项作为正则化是更有效的提高语音增强的信噪比比$L1$。
2020-09-30 eess.AS
Schrödinger Bridge for Generative Speech Enhancement
本文提出一种基于Schrödinger桥的生成式语音增强模型，通过数据到数据过程和辅助时域损失恢复纯净语音，在去噪与去混响任务中优于扩散模型并降低计算成本。
2024-07-22 eess.AS
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力，还评估编码前语音增强的影响，发现经典编解码器更抗噪，语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
A Lightweight Hybrid Dual Channel Speech Enhancement System under Low-SNR Conditions
针对低信噪比下计算资源受限的问题，提出一种结合IVA与改进GTCRN的轻量级混合双通道语音增强系统，以低参数和低复杂度实现有效增强。
2025-05-26 eess.AS
On Speech Pre-emphasis as a Simple and Inexpensive Method to Boost Speech Enhancement
本文首次提出将预加重滤波用于基于深度神经网络的语音增强，通过在损失计算前对干净语音进行预加重，使频率成分更好反映感知重要性，在TIMIT含噪数据上取得最高4.6%和3.4%的质量提升。
2024-01-17 eess.AS
FastEnhancer: Speed-Optimized Streaming Neural Speech Enhancement
针对流式语音增强在实时应用中的延迟问题，提出FastEnhancer模型，采用简单编码器-解码器与高效RNNFormer块，在保持最先进语音质量和可懂度的同时，实现单CPU线程上的最快处理速度。
2025-09-26 eess.AS
Plugin Speech Enhancement: A Universal Speech Enhancement Framework Inspired by Dynamic Neural Network
China Mobile Research Institute（中国移动研究院）
本文提出插件式语音增强框架Plugin-SE，通过权重预测方法从下游训练信息中学习任务关系，并结合门控模块构建动态神经网络，以解决通用语音增强中下游模块特征感知不足的问题，实验证明其在多种下游任务上优于或媲美现有联合训练方法。
2024-02-20 cs.SD eess.AS
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs Research（脸书现实实验室研究）
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中，我们探讨的方法，使监督语音增强系统训练真实世界的退化语音数据。具体来说，我们提出了一个半监督的语音增强方法，我们首先训练一个修改后的矢量量化变分自编码器，解决了源分离任务。然后，我们使用这个训练的自动编码器，进一步训练一个增强网络，使用现实世界的嘈杂的语音数据，通过计算一个基于三元组的无监督损失函数。实验表明，将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London（帝国理工学院）
这份报告的重点是算法，执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强，即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制，并且在[2]、[1]、[3]和[4]中，设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要，因为这可以提供有助于开发新算法的见解。索引术语-语音增强，去混响，去噪，卡尔曼滤波器，最小均方误差估计。
2018-10-31 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本文提出基于ARN时间域增强模型，将语音增强与仅在干净语音上训练的声学模型解耦，在CHiME-2上实现6.28%词错误率，相对提升19.3%。
2023-06-21 cs.SD eess.AS
A two-step backward compatible fullband speech enhancement system
Kuaishou Technology（快手科技）
基于深度学习的语音增强方法已经超越了传统方法。虽然这些新的方法中有许多是在宽带（16 kHz）的采样率，一个新的全带（48 kHz）的语音增强系统，本文提出。与现有的利用感知激励特征来使用单个网络结构训练全带语音增强的全带系统相比，所提出的系统是两步系统，其确保良好的全带语音增强质量，同时向后兼容于现有的宽带系统。
2022-01-28 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中，我们的目标是弥合这一差距，提取音素身份，以帮助语音增强。具体来说，我们提出了一个基于音素的分布正则化（PbDr）的语音增强，它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布，我们建议学习一个参数对，即规模和偏见，通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件，而且还包括频率方面的条件，其有效地将特征映射到音素相关分布。通过这种方式，我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明，该PbDr模块不仅可以提高语音增强的感知质量，而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题，将其作为从语音增强到歌声分离的域适应，研究全量微调和LoRA参数高效微调策略，实验表明两种策略均有效提升歌声分离性能，LoRA微调还能保留语音增强能力，证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
A Perceptual Weighting Filter Loss for DNN Training in Speech Enhancement
使用深度神经网络（DNN）的单通道语音增强已显示出有前途的性能，因此正在深入研究。在本文中，在用于语音增强的DNN训练期间，我们不是将均方误差（MSE）应用为损失函数，而是设计了由加权滤波器激励的感知加权滤波器损失，因为其用于合成分析语音编码，例如，码激励线性预测（CELP）实验结果表明，所提出的简单的损失函数提高了语音增强性能相比，参考DNN与MSE损失的感知质量和噪声衰减。所提出的损失函数可以有利地应用于现有的基于DNN的语音增强系统，而无需修改用于语音增强的DNN拓扑。提出的方法的源代码是可用的。
2019-08-18 cs.SD eess.AS
Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement
National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学（SOKENDAI））
语音增强（SE）方法主要集中于从噪声输入中恢复干净的语音。然而，在现实世界的语音通信中，噪声往往不仅存在于说话者，而且存在于听者环境中。虽然SE方法可以抑制扬声器语音中包含的噪声，但它们不能处理实际存在于收听者侧的噪声。为了解决这种复杂但常见的情况，我们研究了一种基于深度学习的联合框架，该框架将降噪（NR）与听力增强（LE）集成在一起，其中NR模块首先抑制噪声，然后LE模块修改去噪语音，即，NR模块的输出，以进一步提高语音清晰度。因此，增强的语音可以更少噪声并且对于收听者来说更容易理解。实验结果表明，我们提出的方法取得了可喜的成果，显着优于不相交处理方法在各种语音评价指标。
2022-03-22 cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab（腾讯人工智能实验室）
声学回声消除在全双工语音通信中起着重要的作用，同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中，我们提出了一个全深度学习框架，隐式估计回声/噪声和目标语音的二阶统计量，并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明，该模型可以与说话人嵌入更好的目标语音增强，并进一步开发一个分支的自动增益控制（AGC）的任务，形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
The Potential of Neural Speech Synthesis-based Data Augmentation for Personalized Speech Enhancement
Indiana University, Luddy School of Informatics, Computing, and Engineering（印第安纳大学卢迪信息、计算与工程学院）
随着深度学习的进步，语音增强系统受益于大型神经网络架构，并实现了最先进的质量。然而，说话人不可知的方法并不总是可取的，无论是在质量和它们的复杂性，当它们被用于资源受限的环境。一种有前途的方法是个性化语音增强（PSE），这是一个更小，更容易的语音增强问题的小模型来解决，因为它专注于一个特定的测试时的用户。为了实现个性化的目标，同时处理典型的个人数据的缺乏，我们调查的数据增强的神经语音合成（NSS）的基础上的效果。在所提出的方法中，我们表明NSS系统的合成数据的质量很重要，如果它们足够好，则可以使用增强的数据集来改进优于说话者不可知基线的PSE系统。所提出的PSE系统表现出显着的复杂性降低，同时保持增强质量。
2022-11-14 cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University（约翰斯·霍普金斯大学）
基于双向长短期记忆（BLSTM）神经网络的谱掩模估计已广泛应用于各种语音增强应用中，并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而，当这些掩模用于单通道语音增强时，它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合，使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion（信息与通信技术振兴院）；Microsoft Research Asia（微软亚洲研究院）
近年来，对用于端到端语音编码的自监督学习方法的兴趣激增，因为它们取得了巨大的成功。特别是，WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效，在这项工作中，我们设计并进行了一系列实验，结合WavLM和两个高质量的语音增强系统的三个资源条件。此外，我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置，以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明，WavLM有利于语音增强任务的语音质量和语音识别精度，特别是对于低微调资源。对于高微调资源条件，仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield（谢菲尔德大学）；TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文识别了感知度量驱动的语音增强网络中的幻觉问题，即增强系统通过欺骗语音质量预测器来引入幻觉，并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
Phonetic Feedback for Speech Enhancement With and Without Parallel Speech Data
The Ohio State University（俄亥俄州立大学）
虽然深度学习系统在语音增强研究中取得了显著进展，但这些系统尚未充分利用深度学习系统的潜力来提供高级反馈。特别是，语音反馈是罕见的语音增强的研究，即使它包括有价值的自上而下的信息。我们使用模仿损失的技术来提供语音反馈到现成的增强系统，并在CHiME-4数据上找到客观可懂度分数的增益。该技术采用在干净语音上训练的冻结声学模型来向增强模型提供有价值的反馈，即使在没有并行语音数据可用的情况下。我们的工作是第一个显示可理解性改善的神经增强系统没有并行语音数据，我们表明语音反馈可以提高一个国家的最先进的神经增强系统训练的并行语音数据。
2020-03-03 cs.CL cs.SD eess.AS
Dual-Stage Low-Complexity Reconfigurable Speech Enhancement
Facebook Reality Labs（Facebook现实实验室）
本文提出了一种双级、低复杂度、可重构的语音增强方法。在输入数据和音频内容的驱动下，所提出的两阶段语音增强方法分别在第一阶段和第二阶段执行粗处理和细处理。在本文中，我们证明了所提出的语音增强解决方案显着提高了3倍电信语音质量评估（3QUEST）的语音平均意见分数（SMOS）和噪声MOS（NMOS）的近场和远场应用的指标。此外，所提出的语音增强方法大大提高了信噪比（SNR）和主观听觉体验。相比之下，传统的语音增强方法虽然增加了NMOS和SNR，但降低了SMOS。此外，所提出的语音增强方案可以很容易地应用于语音通信和会议系统以及语音触发应用的捕获路径和语音渲染路径中。
2021-05-17 cs.SD eess.AS eess.SP
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
CycleGAN with Dual Adversarial Loss for Bone-Conducted Speech Enhancement
Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University（安徽大学智能计算与信号处理教育部重点实验室）
骨导语音与气导语音相比，具有屏蔽背景噪声的独特优势。增强骨导语音有助于提高其质量和可懂度。本文提出了一种新的具有双重对抗损失的CycleGAN（CycleGAN-DAL）用于骨导语音增强。该方法同时使用对抗性损失和循环一致性损失来学习前向和循环映射，其中对抗性损失被替换为分类对抗性损失和缺陷对抗性损失以巩固前向映射。与传统的基线方法相比，它可以学习骨导语音和目标语音之间的特征映射，而无需额外的空气传导语音辅助。此外，所提出的方法还避免了通常发生在传统的统计模型的过光滑问题。实验结果表明，该方法优于基线方法，如CycleGAN，GMM和BLSTM。关键词：骨导语音增强，双对抗损失，并行CycleGAN，高频语音重建
2021-11-02 cs.SD eess.AS
Analysis of Noisy-target Training for DNN-based speech enhancement
Nagoya University（名古屋大学）
基于深度神经网络（DNN）的语音增强通常使用干净的语音作为训练目标。然而，很难收集大量干净的语音，因为录音成本很高。换句话说，当前语音增强的性能受到训练数据量的限制。为了放宽该限制，已经提出了利用噪声语音作为训练目标的噪声目标训练（NyTT）。虽然实验表明，NyTT可以训练DNN而无需干净的语音，但尚未进行详细的分析，并且其行为尚未得到很好的理解。在本文中，我们进行各种分析，以加深我们对NyTT的理解。此外，基于NyTT的属性，我们提出了一种改进的方法，该方法与使用干净语音的方法相当。此外，我们表明，我们可以提高性能，通过使用大量的噪声语音与干净的语音。
2022-11-02 cs.SD eess.AS
An Iterative Graph Spectral Subtraction Method for Speech Enhancement
本文研究了图信号处理（GSP）理论在语音增强中的应用。我们首先提出一组移位算子来构造图形语音信号，然后在图形傅立叶域中分析它们的频谱。利用图语音和图噪声信号的频谱差异，进一步提出了图谱减法（GSS）方法来抑制含噪语音中的噪声干扰。在此基础上，提出了迭代图谱减法（IGSS）方法，进一步提高了语音增强的性能。实验结果表明，所提出的算子适用于图形语音信号，在信噪比（SNR）和平均感知语音质量（PESQ）方面优于传统的基本谱减法（BSS）和迭代基本谱减法（IBSS）。
2020-06-15 eess.AS eess.SP
Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions
Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）
基于深度学习的时域模型，例如Conv-TasNet，在单通道和多通道语音增强方面都显示出巨大的潜力。然而，时域语音增强模型的实验大多是在模拟环境下进行的，其良好的性能能否推广到实际应用中还没有得到很好的研究。在本文中，我们的目的是提供一个有见地的调查应用多通道Conv-TasNet为基础的语音增强的模拟和真实数据。我们的初步实验表明，在ASR性能方面，两种条件之间存在很大的性能差距。有几种方法被用来缩小这一差距，包括将多通道Conv-TasNet集成到具有各种策略的波束形成模型中，以及语音增强和语音识别模型的联合训练。在CHiME-4语料库上的实验表明，本文提出的方法在保持前端强大的语音增强能力的同时，可以大大降低仿真数据与真实数据之间的语音识别性能差异。
2021-10-27 cs.SD eess.AS
Joint Far- and Near-End Speech Intelligibility Enhancement based on the Approximated Speech Intelligibility Index
RTX A/S（RTX公司）；Aalborg University（奥尔堡大学）
本文研究了在一个噪声环境中采集的信号在另一个噪声环境中呈现给听者的语音增强问题。最近，它已被证明，这个问题的最佳解决方案，需要考虑在两个环境中的噪声源联合。然而，现有的基于最佳互信息的方法需要一个复杂的系统模型，包括自然语音变化，并依赖于近似和假设的基础信号分布。在本文中，我们建议使用一个更简单的信号模型，并优化语音清晰度的近似语音清晰度指数（ASII）的基础上。我们推导出一个封闭形式的解决方案的联合远，近端语音增强的问题，是独立的信号系数的边缘分布，并达到类似的性能，现有的工作。此外，我们不需要为自然语音变化建模或优化。
2021-11-15 cs.SD eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab（vivo人工智能实验室）；Trinity College Dublin（都柏林大学三一学院）
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响，因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架，涉及语音增强的视觉信息，通过结合生成对抗网络（GAN）。具体地说，提出的视觉语音增强GAN由两个以对抗方式训练的网络组成：i）一个采用多层特征融合卷积网络增强输入含噪语音的生成器，ii）一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明，该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London（帝国理工学院）
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法，对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法，执行盲联合去噪和去混响，同时考虑帧间语音动态，通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比（DRR）的混响参数的信号模型，并且还估计和跟踪每个频率仓中的$T_{60}$和DRR，以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量，语音清晰度和混响性能的混响参数和信噪比的范围内，在不同的噪声类型，也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现，发现连续表示更优，非自回归模型更实用，编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Binaural Speech Enhancement Using STOI-Optimal Masks
STOI最优掩蔽先前已被提出并开发用于单通道语音增强。在本文中，我们认为扩展到双耳语音增强的任务，其中空间信息是已知的语音理解是重要的，因此应该保留的增强处理。分别为每个双耳通道估计掩模，并通过选择两个掩模中的最大值来计算“更好的耳听”掩模。估计的掩模被用来提供概率信息的语音存在，在每个时间-频率箱的最佳修改的对数频谱幅度（OM-LSA）增强器。我们表明，使用所提出的方法与方向性噪声的双耳信号不仅提高了噪声信号的信噪比，但也保留了双耳线索和可懂度。
2022-09-30 eess.AS eess.SP
Breaking the trade-off in personalized speech enhancement with cross-task knowledge distillation
Microsoft Research（微软研究院）
与无条件语音增强模型相比，个性化语音增强（PSE）模型具有去除干扰语音和背景噪声的能力，因此获得了令人满意的结果。与无条件语音增强不同，因果PSE模型可能偶尔错误地移除目标语音。当目标说话者长时间沉默时，PSE模型也倾向于泄漏干扰语音。我们表明，现有的PSE方法遭受语音过抑制和干扰泄漏之间的权衡，解决一个问题的代价是其他。我们提出了一个新的PSE模型训练框架，使用跨任务的知识蒸馏，以减轻这种权衡。具体来说，我们利用个性化的语音活动检测器（pVAD）在训练过程中，排除非目标语音帧被错误地识别为包含目标扬声器与硬或软分类。这防止PSE模型过于激进，同时仍然允许模型学习在输入语音可能由干扰说话者说出时抑制输入语音。全面的评估结果，涵盖各种PSE的使用场景。
2022-11-05 cs.SD eess.AS
DDS: A new device-degraded speech dataset for speech enhancement
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学）
在不受控制的环境中，消费级设备上记录了现实生活中大量且不断增长的语音内容，导致语音质量下降。将这种低质量的设备降级语音转换成高质量语音是语音增强（SE）的目标。本文介绍了一种新的语音数据集，DDS，以促进对SE的研究。DDS提供高质量语音（在专业录音室录制）和低质量语音的多个版本的对齐平行录音，产生约2，000小时的语音数据。DDS数据集通过结合不同的声学环境和麦克风设备，涵盖了27种真实的录音条件，每个条件版本由来自六个麦克风位置的多个录音组成，以模拟不同的噪声和混响水平。我们还测试了几个SE基线系统的DDS数据集，并显示记录多样性对性能的影响。
2022-03-22 cs.SD eess.AS
