Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples
Clova AI Research, NAVER Corp.（NAVER公司Clova人工智能研究院）；Search Solution Inc.（搜索解决方案公司）；Seoul National University（首尔大学）
为大型语音语料库标注译文的成本成为最大限度地享受基于深度神经网络的自动语音识别模型的潜在能力的瓶颈。在本文中，我们提出了一种新的训练管道，以提高传统的主动学习方法的目标是标签有效的学习，以解决上述问题。现有的主动学习方法只关注在标签预算下选择一组信息样本。更进一步，我们建议通过利用未标记的样本，超过标记预算，通过引入有效地补充监督损失的可配置的无监督损失，可以进一步提高训练效率。我们提出了新的无监督损失的一致性正则化的基础上，我们配置适当的增强技术的话语采用一致性正则化的自动语音识别任务。通过对真实世界数据集和真实使用场景的定性和定量实验，我们证明了所提出的训练管道可以提高主动学习方法的有效性，从而成功地降低了可持续的人工标记成本。
2020-11-05 cs.LG eess.AS
Exploring Speech Enhancement for Low-resource Speech Synthesis
本文研究低资源语音合成中的数据质量问题，提出用TF-GridNet语音增强ASR语料再训练离散单元TTS模型的流程，并在阿拉伯语数据上验证其显著降低ASR WER。
2023-09-19 eess.AS
A Modulation-Domain Loss for Neural-Network-based Real-time Speech Enhancement
我们描述了基于深度学习的语音增强系统的调制域损失函数。可学习的频谱时间感受野（STRFs）进行了调整，以优化扬声器识别任务。然后，学习的STRF用于计算调制域中的加权均方误差（MSE），用于训练语音增强系统。实验表明，将调制域MSE添加到频谱-时间域中的MSE实质上改善了实时语音增强系统的语音质量和可懂度的客观预测，而不会在推理期间引起额外的计算。
2021-02-15 eess.AS
SenSE: Semantic-Aware High-Fidelity Universal Speech Enhancement
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Nanjing University（南京大学）
SenSE提出一种两阶段生成式通用语音增强框架，通过语言模型建模语义先验，引导流匹配过程生成语义忠实的语音，提升上下文保真度，并引入双路径掩码条件训练策略提升模型灵活性和适应性。
2026-04-05 eess.AS
Rethinking Batch Composition: Promoting Feature Diversity for Speech Enhancement
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文针对语音增强训练中随机小批量数据特征多样性不足的问题，提出特征分层小批量采样策略，在多语言及含病理语音的数据集上提升了增强性能，且无需修改模型或训练目标。
2026-10-16 eess.AS
Influence of Clean Speech Characteristics on Speech Enhancement Performance
本文系统研究干净语音的内在声学特性对语音增强性能的影响，发现共振峰幅度可稳定预测增强增益，并揭示说话人内部声学变异性对性能的重要性，为数据集、评估协议和模型设计提供新依据。
2025-09-23 eess.AS
Noisy-target Training: A Training Strategy for DNN-based Speech Enhancement without Clean Speech
基于深度神经网络（DNN）的语音增强通常需要干净的语音信号作为训练目标。然而，收集干净的信号是非常昂贵的，因为它们必须在演播室中记录。这个要求目前将用于语音增强的训练数据量限制到小于不需要干净信号的语音识别的训练数据量的1/1000。增加训练数据量对于提高性能是重要的，因此应该放宽对干净信号的要求。在本文中，我们提出了一种不需要干净信号的训练策略。所提出的方法只利用噪声信号进行训练，这使得我们能够使用各种语音信号在野外。我们的实验结果表明，该方法可以实现类似于使用干净信号训练的DNN的性能。
2021-05-10 eess.AS
Speech Boosting: Low-Latency Live Speech Enhancement for TWS Earbuds
Samsung Research（三星研究院）
本文提出一种面向TWS耳塞端侧的低延迟语音增强方案，通过优化网络架构、损失函数、剪枝及硬件适配，在ANC开启的噪声对话场景下实现低于3毫秒延迟并显著提升增强质量。
2024-09-27 cs.AI cs.SD eess.AS
A Perceptually-Motivated Approach for Low-Complexity, Real-Time Enhancement of Fullband Speech
在过去的几年里，基于深度学习的语音增强方法已经大大超越了基于谱减法和谱估计的传统方法。这些新技术中的许多直接在短时傅里叶变换（STFT）域中操作，导致高计算复杂度。在这项工作中，我们提出了PercepNet，一种有效的方法，依赖于人类的感知语音的频谱包络和语音的周期性。我们展示了高品质，实时增强的全频带（48 kHz）的语音与不到5%的CPU核心。
2020-08-27 eess.AS
An Exploration of Length Generalization in Transformer-Based Speech Enhancement
针对 Transformer 语音增强难以利用长语音训练的问题，本文系统比较四类位置嵌入，证明相对位置嵌入更能实现由短到长的长度泛化。
2024-06-17 eess.AS
Boosting Multi-Speaker Expressive Speech Synthesis with Semi-supervised Contrastive Learning
Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司）
本文提出基于半监督对比学习的多说话人TTS方法，通过多层级对比学习提取解耦的风格、情感与说话人表征，并结合半监督策略利用多领域数据，整合至改进VITS模型，实现跨说话人的风格与情感迁移及表现力语音合成。
2024-04-25 cs.SD eess.AS
Multi-channel end-to-end neural network for speech enhancement, source localization, and voice activity detection
语音增强和声源定位技术是近几十年来的研究热点，在实际应用中具有广泛的应用前景。最近，深度复杂卷积循环网络（DCCRN）为单通道系统带来了令人印象深刻的增强性能。在这项研究中，神经波束形成器组成的波束形成器和一种新的多通道DCCRN提出了语音增强和源定位。由多通道DCCRN估计的复值滤波器作为波束形成器的权重。此外，一个单阶段的学习为基础的过程是用于语音增强和源定位。建议的网络组成的多通道DCCRN和辅助网络模型的声场，同时最小化无失真的响应损失函数。仿真结果表明，该神经波束形成器能有效地增强语音信号，且语音质量保持良好。所提出的神经波束形成器还提供源定位和语音活动检测（VAD）功能。
2022-06-20 eess.AS
Mask-Based Speech Enhancement for Spatial Audio: A Comparison of Ambisonics, Beamforming, and Microphone Channels
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本研究系统比较了掩码语音增强在麦克风、波束成形和Ambisonics三种空间音频表示中的性能，发现波束成形域增强效果最佳，而Ambisonics域更利于保留空间属性。
2026-09-17 eess.AS
Masks Fusion with Multi-Target Learning For Speech Enhancement
最近，基于深度神经网络（DNN）的时频（T-F）掩模估计对于语音增强显示出显著的有效性。通常，首先基于DNN估计单个T-F掩码，然后用于掩蔽有噪语音的频谱图以抑制噪声。提出了一种多模板融合的语音增强方法。它同时估计两个互补的掩码，例如，理想比率掩模（IRI）和目标二进制掩模（TBM），然后将它们融合以获得用于语音增强细化掩模。新方法的优点是双重的。首先，同时估计多个互补掩模带来了多目标学习所赋予的益处。其次，多模板融合可以利用多个模板之间的互补性来提高语音增强的性能。实验结果表明，与传统的基于掩蔽的方法相比，该方法能显著提高PESQ，降低后端的识别错误率。代码可在https://github.com/lc-zhou/mask-fusion上获得。
2021-09-28 eess.AS
Progressive Speech Enhancement with Residual Connections
本文研究了基于深度神经网络的语音增强。所提出的架构逐渐遵循信号的转换，在增强过程中通过可视化探头在每个网络块。除了这个过程，增强性能的目视检查和回归成本方面的评估。该渐进式方案基于残差网络。在这个过程中，我们研究了一个具有恒定数量通道的剩余连接，包括块之间的内部状态，并添加渐进式监督。通过对网络增强过程的解释所提供的见解，我们设计了一种改进的架构来增强。遵循这种策略，我们能够获得超越最先进水平的语音增强结果，在去混响和频谱失真量之间实现有利的权衡。
2019-04-09 eess.AS
Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement
University of Hamburg（汉堡大学）
本文研究现代ASR模型与人类语音增强识别的关联，发现大规模噪声训练和嵌入语言模型的ASR模型更符合人类WER，但其噪声鲁棒性和上下文使用对声学评估不具信息性。
2026-05-12 eess.AS
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs（AWS人工智能实验室）
端到端语音识别模型训练使用联合连接时间分类（CTC）-注意力损失最近得到普及。在这些模型中，非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而，这样的模型很难个性化，因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题，我们提出了一种新的双向方法，首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外（OOV）单词列表上，然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法，以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
SE Territory: Monaural Speech Enhancement Meets the Fixed Virtual Perceptual Space Mapping
针对单通道语音缺乏空间线索的问题，本文提出 SE-TerrNet，通过两阶段多任务学习将单通道语音映射到固定虚拟双耳空间并融合注意力特征，显著提升语音质量与可懂度。
2024-03-04 eess.AS
MeanSE: Efficient Generative Speech Enhancement with Mean Flows
MeanSE利用均值流建模平均速度场，实现单次函数评估的高质量生成式语音增强，显著优于流匹配基线并具备极佳域外泛化能力。
2025-09-25 eess.AS
ARiSE: Auto-Regressive Multi-Channel Speech Enhancement
本文提出ARiSE自回归多通道语音增强算法，利用先前帧估计的目标语音作为额外输入特征改进DNN逐帧在线增强，并设计并行训练机制加速训练，在含噪混响条件下验证了其有效性。
2025-06-06 eess.AS
Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement
为了进一步解决传统语音增强系统中由于忽略相位信息而导致的性能下降问题，提出了一种基于时域扩张卷积生成对抗网络（TDCGAN）的端到端语音增强结构。本文首次在GAN结构中引入了具有深度可分离卷积的时间扩张卷积网络，从而在不增加参数数量的情况下大大增加了感受野。我们还首次探讨了信噪比惩罚项作为生成器损失函数的正则化对提高增强语音信噪比的影响。实验结果表明，我们提出的方法优于最先进的端到端基于GAN的语音增强。此外，与以前的基于GAN的方法相比，所提出的TDCGAN可以大大减少参数的数量。正如预期的那样，工作还表明，信噪比惩罚项作为正则化是更有效的提高语音增强的信噪比比$L1$。
2020-09-30 eess.AS
Schrödinger Bridge for Generative Speech Enhancement
本文提出一种基于Schrödinger桥的生成式语音增强模型，通过数据到数据过程和辅助时域损失恢复纯净语音，在去噪与去混响任务中优于扩散模型并降低计算成本。
2024-07-22 eess.AS
Boosting Large Language Model for Speech Synthesis: An Empirical Study
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）
本文通过结合LLaMA/OPT和VALL-E，探索了三种将大语言模型与语音合成模型集成的方法，发现以LLM作为文本编码器的耦合方法效果最佳，显著降低了10.9%的词错误率。
2023-12-30 cs.CL cs.SD eess.AS
Assessing the Impact of Noise and Speech Enhancement on the Intelligibility of Speech Codecs
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
研究评估经典和神经语音编解码器在干净及嘈杂条件下的可懂度与听觉努力，还评估编码前语音增强的影响，发现经典编解码器更抗噪，语音增强可提升受噪声影响编解码器的可懂度等。
2026-07-07 eess.AS
A Lightweight Hybrid Dual Channel Speech Enhancement System under Low-SNR Conditions
针对低信噪比下计算资源受限的问题，提出一种结合IVA与改进GTCRN的轻量级混合双通道语音增强系统，以低参数和低复杂度实现有效增强。
2025-05-26 eess.AS
On Speech Pre-emphasis as a Simple and Inexpensive Method to Boost Speech Enhancement
本文首次提出将预加重滤波用于基于深度神经网络的语音增强，通过在损失计算前对干净语音进行预加重，使频率成分更好反映感知重要性，在TIMIT含噪数据上取得最高4.6%和3.4%的质量提升。
2024-01-17 eess.AS
Boosting Objective Scores of a Speech Enhancement Model by MetricGAN Post-processing
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
在许多不同的自然语言处理应用中，与递归神经网络相比，Transformer架构已经展示了卓越的能力。因此，我们的研究将改进的Transformer应用于语音增强任务中。具体地，Transformer中的位置编码对于语音增强可能不是必需的，因此，它被卷积层代替。为了进一步提高增强语音的语音质量（PESQ）分数的感知评估，使用MetricGAN框架对L_1预训练的Transformer进行微调。所提出的MetricGAN可以被视为一个通用的后处理模块，以进一步提高感兴趣的客观分数。这些实验是使用深度噪声抑制（DNS）挑战赛组织者提供的数据集进行的。实验结果表明，该系统优于挑战基线，在主观和客观的评价，有很大的利润。
2021-03-03 cs.LG cs.SD eess.AS
SememeASR: Boosting Performance of End-to-End Speech Recognition against Domain and Long-Tailed Data Shift with Sememe Semantic Knowledge
Tsinghua University（清华大学）；Peng Cheng Lab（鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）
针对纯数据驱动语音识别在领域不匹配和长尾数据场景下的性能瓶颈，提出融合义原语义知识的SememeASR方法，实验验证其可提升识别效果、长尾数据识别能力及领域泛化性。
2023-10-07 cs.CL cs.SD eess.AS
Plugin Speech Enhancement: A Universal Speech Enhancement Framework Inspired by Dynamic Neural Network
China Mobile Research Institute（中国移动研究院）
本文提出插件式语音增强框架Plugin-SE，通过权重预测方法从下游训练信息中学习任务关系，并结合门控模块构建动态神经网络，以解决通用语音增强中下游模块特征感知不足的问题，实验证明其在多种下游任务上优于或媲美现有联合训练方法。
2024-02-20 cs.SD eess.AS
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；Norwegian University of Science and Technology（挪威科技大学）
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束，联合属性和音素信息进行多语言端到端音素识别，在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
Incorporating Real-world Noisy Speech in Neural-network-based Speech Enhancement Systems
Carnegie Mellon University（卡内基梅隆大学）；Facebook Reality Labs Research（脸书现实实验室研究）
受监督的语音增强依赖于在训练期间退化的语音信号及其干净的参考信号的并行数据库。此设置禁止使用可能更好地代表使用此类系统的场景的真实世界降级语音数据。在本文中，我们探讨的方法，使监督语音增强系统训练真实世界的退化语音数据。具体来说，我们提出了一个半监督的语音增强方法，我们首先训练一个修改后的矢量量化变分自编码器，解决了源分离任务。然后，我们使用这个训练的自动编码器，进一步训练一个增强网络，使用现实世界的嘈杂的语音数据，通过计算一个基于三元组的无监督损失函数。实验表明，将真实世界的数据在训练语音增强系统的有前途的结果。
2021-09-21 cs.SD eess.AS
Boosting Code-Switching ASR with Mixture of Experts Enhanced Speech-Conditioned LLM
Kuaishou Technology（快手科技）
针对语码转换自动语音识别难题，提出带MoE连接器的语音条件LLM及IDIT机制与两阶段训练策略，性能显著优于现有最优模型。
2024-10-31 cs.AI cs.SD eess.AS
MT4SSL: Boosting Self-Supervised Speech Representation Learning by Integrating Multiple Targets
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）
本文提出多任务自监督语音学习框架 MT4SSL，通过结合离线 K-means 目标提取器和在线无梯度教师网络目标提取器，在 LibriSpeech 上以更少数据取得优于或媲美最优模型的性能，并提升预训练收敛效率。
2023-05-31 cs.AI cs.CL cs.SD
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本文提出基于ARN时间域增强模型，将语音增强与仅在干净语音上训练的声学模型解耦，在CHiME-2上实现6.28%词错误率，相对提升19.3%。
2023-06-21 cs.SD eess.AS
A two-step backward compatible fullband speech enhancement system
Kuaishou Technology（快手科技）
基于深度学习的语音增强方法已经超越了传统方法。虽然这些新的方法中有许多是在宽带（16 kHz）的采样率，一个新的全带（48 kHz）的语音增强系统，本文提出。与现有的利用感知激励特征来使用单个网络结构训练全带语音增强的全带系统相比，所提出的系统是两步系统，其确保良好的全带语音增强质量，同时向后兼容于现有的宽带系统。
2022-01-28 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中，我们的目标是弥合这一差距，提取音素身份，以帮助语音增强。具体来说，我们提出了一个基于音素的分布正则化（PbDr）的语音增强，它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布，我们建议学习一个参数对，即规模和偏见，通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件，而且还包括频率方面的条件，其有效地将特征映射到音素相关分布。通过这种方式，我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明，该PbDr模块不仅可以提高语音增强的感知质量，而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY（纽约市立大学研究生中心）；Microsoft Research（微软研究院）
语音增强最近通过各种深度学习方法取得了巨大成功。然而，大多数传统的语音增强系统是用监督方法训练的，这带来了两个重大挑战。首先，用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时，在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次，在提高语音增强性能和降低语音识别（ASR）性能之间存在权衡。因此，我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明，该函数有效地提高了语音增强的性能相比，在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线，但通过联合超级和无监督训练，系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
Teaching Speech Enhancement Models to Sing: Domain Adaptation from Speech Enhancement to Singing Voice Separation
针对歌声分离训练数据有限问题，将其作为从语音增强到歌声分离的域适应，研究全量微调和LoRA参数高效微调策略，实验表明两种策略均有效提升歌声分离性能，LoRA微调还能保留语音增强能力，证明适配预训练模型是数据稀缺时训练歌声分离模型的有效策略。
2026-07-14 cs.SD eess.AS
On Single-Channel Speech Enhancement and On Non-Linear Modulation-Domain Kalman Filtering
Imperial College London（帝国理工学院）
这份报告的重点是算法，执行单通道语音增强。本文作者在[1]、[2]、[3]、[4]和[5]中使用调制域卡尔曼滤波算法进行语音增强，即噪声抑制和去混响。调制域卡尔曼滤波可以应用于噪声和后期混响抑制，并且在[2]、[1]、[3]和[4]中，设计、实现和测试了执行调制域卡尔曼滤波的各种基于模型的语音增强算法。[2]中的基于模型的增强算法估计并跟踪语音相位。[5]中的基于短时傅里叶变换的增强算法使用[6]中提出的活动语音电平估计器。本报告介绍了不同的算法如何执行语音增强和算法在本报告中讨论的是针对研究人员感兴趣的单声道语音增强。算法由不同的处理块和技术组成[7];理解系统设计期间所做的实现选择很重要，因为这可以提供有助于开发新算法的见解。索引术语-语音增强，去混响，去噪，卡尔曼滤波器，最小均方误差估计。
2018-10-31 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook（脸书）
在这项工作中，我们利用语音增强来改善基于递归神经网络换能器（RNN-T）的ASR系统。我们采用了一个密集的卷积递归网络（DCRN）复杂的频谱映射为基础的语音增强，并发现它有助于ASR在两个方面：一个数据增强技术，和预处理前端。在使用它的ASR数据增强，我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端，我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集，并实现了11.2%的平均相对改善与语音增强为基础的数据增强，8.3%与增强为基础的预处理，和13.4%时，结合两者。
2020-11-07 cs.SD eess.AS
Objective and Subjective Evaluation of Diffusion-Based Speech Enhancement for Dysarthric Speech
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Centre (EMC)（埃因霍温医学院）；Indian Inst. of Information Technology Allahabad（阿利哈巴德信息科技学院）；Dept. of Plastic and Reconstructive Surgery（整形外科与重建外科系）；Dept. of Electronics and Communication（电子与通信系）
针对构音障碍语音对ASR系统的挑战，本研究探索扩散模型在构音障碍语音增强中的应用，通过评估两种扩散算法和一种信号处理算法对语料库可懂度、质量及ASR性能的影响，验证其提升识别性能的潜力。
2025-08-25 cs.SD eess.AS
A Perceptual Weighting Filter Loss for DNN Training in Speech Enhancement
使用深度神经网络（DNN）的单通道语音增强已显示出有前途的性能，因此正在深入研究。在本文中，在用于语音增强的DNN训练期间，我们不是将均方误差（MSE）应用为损失函数，而是设计了由加权滤波器激励的感知加权滤波器损失，因为其用于合成分析语音编码，例如，码激励线性预测（CELP）实验结果表明，所提出的简单的损失函数提高了语音增强性能相比，参考DNN与MSE损失的感知质量和噪声衰减。所提出的损失函数可以有利地应用于现有的基于DNN的语音增强系统，而无需修改用于语音增强的DNN拓扑。提出的方法的源代码是可用的。
2019-08-18 cs.SD eess.AS
Joint Noise Reduction and Listening Enhancement for Full-End Speech Enhancement
National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学（SOKENDAI））
语音增强（SE）方法主要集中于从噪声输入中恢复干净的语音。然而，在现实世界的语音通信中，噪声往往不仅存在于说话者，而且存在于听者环境中。虽然SE方法可以抑制扬声器语音中包含的噪声，但它们不能处理实际存在于收听者侧的噪声。为了解决这种复杂但常见的情况，我们研究了一种基于深度学习的联合框架，该框架将降噪（NR）与听力增强（LE）集成在一起，其中NR模块首先抑制噪声，然后LE模块修改去噪语音，即，NR模块的输出，以进一步提高语音清晰度。因此，增强的语音可以更少噪声并且对于收听者来说更容易理解。实验结果表明，我们提出的方法取得了可喜的成果，显着优于不相交处理方法在各种语音评价指标。
2022-03-22 cs.SD eess.AS
MAC: A unified framework boosting low resource automatic speech recognition
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个统一的框架，低资源自动语音识别任务命名为Meta音频级联（MAC）。它易于实施，可以在资源极其有限的环境中进行。在数学上，我们给出了一个清晰的描述MAC框架的角度来看，baker-sampling。在这个框架中，我们利用一个新的拼接合成文本到语音系统，以提高低资源ASR任务。通过拼接合成的文语转换系统，可以整合语言发音规则，调整文语转换过程。此外，我们提出了一个广义的Meta音频集的概念，以满足不同的语言和不同的场景使用系统时的建模需求。大量的实验已经证明了MAC在低资源ASR任务上的巨大有效性。对于CTC贪婪搜索、CTC前缀、注意力和注意力重评分解码模式，MAC方法在粤语ASR任务、台语ASR任务和日语ASR任务中均能使CER降低15%以上。此外，在ASR任务中，MAC在粤语的常见语音数据集上击败了wav 2 vec 2（微调），并在台语和日语的常见语音数据集上获得了真正有竞争力的结果。其中，值得一提的是，我们在普通语音粤语ASR任务上实现了\textbf{10.9\%}的字符出错率（CER），带来了\textbf{30\%}相对wav 2 vec 2的改善（微调）。
2023-02-15 cs.CL cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab（腾讯人工智能实验室）
声学回声消除在全双工语音通信中起着重要的作用，同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中，我们提出了一个全深度学习框架，隐式估计回声/噪声和目标语音的二阶统计量，并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明，该模型可以与说话人嵌入更好的目标语音增强，并进一步开发一个分支的自动增益控制（AGC）的任务，形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Impulsive Noise Detection for Intelligibility and Quality Improvement of Speech Enhancement Methods Applied in Time-Domain
Military Institute of Engineering（军事工程学院）
本文介绍了一种新的基于希尔伯特-黄变换域的语音增强方法，以消除脉冲噪声对语音质量的影响。噪声分量的估计和选择是基于分解模式的冲动指数。针对五种不同脉冲指数和非平稳程度的噪声，在不同信噪比下进行了语音增强实验。采用三种语音增强算法作为基线，从时域和谱域两个方面进行了评价分析。所提出的解决方案实现了最好的结果，在客观的质量措施和类似的语音清晰度率的竞争力的方法。
2019-10-07 cs.SD eess.AS
Magnitude-Phase Dual-Path Speech Enhancement Network based on Self-Supervised Embedding and Perceptual Contrast Stretch Boosting
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Cadre Division Organization Department of the Party Committee, Xinjiang Uygur Autonomous Region（中国新疆维吾尔自治区党委组织部干部处）
提出BSP-MPNet双路径框架，融合自监督嵌入与幅度-相位信息，通过PCS增强和REMA解码器，在多个数据集上超越现有方法。
2025-03-27 cs.AI cs.SD eess.AS
The Potential of Neural Speech Synthesis-based Data Augmentation for Personalized Speech Enhancement
Indiana University, Luddy School of Informatics, Computing, and Engineering（印第安纳大学卢迪信息、计算与工程学院）
随着深度学习的进步，语音增强系统受益于大型神经网络架构，并实现了最先进的质量。然而，说话人不可知的方法并不总是可取的，无论是在质量和它们的复杂性，当它们被用于资源受限的环境。一种有前途的方法是个性化语音增强（PSE），这是一个更小，更容易的语音增强问题的小模型来解决，因为它专注于一个特定的测试时的用户。为了实现个性化的目标，同时处理典型的个人数据的缺乏，我们调查的数据增强的神经语音合成（NSS）的基础上的效果。在所提出的方法中，我们表明NSS系统的合成数据的质量很重要，如果它们足够好，则可以使用增强的数据集来改进优于说话者不可知基线的PSE系统。所提出的PSE系统表现出显着的复杂性降低，同时保持增强质量。
2022-11-14 cs.SD eess.AS
Boosting Noise Robustness of Acoustic Model via Deep Adversarial Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Forestry University（北京林业大学）
在实际环境中，语音常常受到各种噪声和混响的干扰，严重影响了自动语音识别（ASR）系统的性能。为了缓解这个问题，最常见的方法是使用设计良好的语音增强方法作为ASR的前端。然而，对于这种方法，额外地消耗更复杂的流水线、更多的计算和甚至更高的硬件成本（麦克风阵列）。此外，语音增强会导致语音失真和训练不匹配。在本文中，我们提出了一种对抗性训练方法，以直接提高声学模型的噪声鲁棒性。具体而言，在训练阶段使用生成对抗网络（GAN）和基于神经网络的声学模型（AM）的联合组合方案。GAN用于通过尝试区分真实干净信号和生成信号的干扰器的引导，从噪声特征生成干净特征表示。生成器、自适应神经网络和自适应模型的联合优化集中了GAN和AM在语音识别中的优势。在CHiME-4上的系统实验表明，该方法显著提高了AM的噪声鲁棒性，在开发集和测试集上的平均相对出错率分别降低了23.38%和11.54%。
2018-05-02 cs.LG cs.SD eess.AS
Iterative Feature Boosting for Explainable Speech Emotion Recognition
University of Québec (TÉLUQ)（魁北克大学（TÉLUQ））；Concordia University（康考迪亚大学）；University of Québec at Montréal（蒙特利尔魁北克大学）
本文提出一种基于Shapley值的迭代特征增强方法，通过可解释的特征评估循环优化语音情感识别特征选择，在TESS数据集上超越人类水平和现有最优方法。
2024-06-05 cs.AI cs.CL cs.LG
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University（约翰斯·霍普金斯大学）
基于双向长短期记忆（BLSTM）神经网络的谱掩模估计已广泛应用于各种语音增强应用中，并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而，当这些掩模用于单通道语音增强时，它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合，使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion（信息与通信技术振兴院）；Microsoft Research Asia（微软亚洲研究院）
近年来，对用于端到端语音编码的自监督学习方法的兴趣激增，因为它们取得了巨大的成功。特别是，WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效，在这项工作中，我们设计并进行了一系列实验，结合WavLM和两个高质量的语音增强系统的三个资源条件。此外，我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置，以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明，WavLM有利于语音增强任务的语音质量和语音识别精度，特别是对于低微调资源。对于高微调资源条件，仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
