Multi-Domain Processing via Hybrid Denoising Networks for Speech Enhancement
Clova AI Research, NAVER Corp.（NAVER Corp. Clova AI Research）；Department of Mathematical Science, Seoul National University（首尔国立大学数学科学系）
我们提出了一个混合框架，利用音频表示的时间和频率精度之间的权衡，以提高性能的语音增强任务。我们首先表明，传统的方法使用特定的表示，如原始音频和频谱图是有效的针对不同类型的噪声。通过整合这两种方法，我们的模型可以学习多尺度和多域特征，以互补的方式有效地去除存在于时频空间上不同区域的噪声。实验结果表明，所提出的混合模型比单独使用每个模型产生更好的性能和鲁棒性。
2018-12-21 cs.SD eess.AS
Real Time Speech Enhancement in the Waveform Domain
Facebook AI Research（脸书人工智能研究院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
我们提出了一个因果语音增强模型的原始波形，在笔记本电脑CPU上实时运行。该模型是基于一个跳过连接的编码器-解码器架构。它使用多个损失函数在时域和频域上进行优化。实验结果表明，该方法能够有效地去除各种背景噪声，包括平稳和非平稳噪声，以及室内混响。此外，我们提出了一套直接应用于原始波形的数据增强技术，进一步提高模型的性能和泛化能力。我们对几个标准基准进行评估，使用客观指标和人类判断。所提出的模型匹配因果和非因果方法的最新性能，同时直接对原始波形进行处理。
2020-09-06 cs.LG cs.SD eess.AS
AMRConvNet: AMR-Coded Speech Enhancement Using Convolutional Neural Networks
Samsung R&D Institute Philippines（三星菲律宾研发研究所）；University of the Philippines（菲律宾大学）
使用语音编码将语音转换为数字信号以进行有效传输。然而，这通常会降低语音的质量和带宽。本文探讨了卷积神经网络在人工带宽扩展（ABE）和语音增强中的应用，特别是在2G蜂窝电话呼叫中使用的自适应多速率（AMR）。在本文中，我们介绍了AMRConvNet：一个卷积神经网络，对AMR编码的语音进行ABE和语音增强。该模型直接对输入和输出语音的时域进行操作，但使用组合的时域重建损失和频域感知损失进行优化。AMRConvNet导致AMR比特率为4.75k的平均意见分数-收听质量目标（MOS-LQO）平均提高了0.425分，AMR比特率为12.2k的MOS-LQO平均提高了0.073分。AMRConvNet在AMR比特率输入中也表现出了鲁棒性。最后，消融测试表明，我们的组合时域和频域损失导致比单独使用任一损失略高的MOS-LQO和更快的训练收敛。
2020-08-24 cs.SD eess.AS
VC-ENHANCE: Speech Restoration with Integrated Noise Suppression and Voice Conversion
Qualcomm Technologies Inc.（高通技术公司）
本文提出 NS+VC 两阶段语音修复框架，利用基于扩散的语音转换依据说话人嵌入和语音内容恢复高质量语音，并通过内容编码器自适应改善含噪条件下的可懂度。
2024-09-10 cs.SD eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google（谷歌）
本文介绍了第7届CHiME挑战赛的UDASE任务，旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应，以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
ReverbMiipher: Generative Speech Restoration meets Reverberation Characteristics Controllability
Google DeepMind（谷歌DeepMind）；The University of Tokyo（东京大学）；Google（谷歌）
ReverbMiipher提出了一种基于参数化重合成框架的语音修复模型，通过ReverbEncoder提取混响特征并结合零向量替换策略实现解耦，在去噪的同时保留并控制混响特性，表现优于传统方法。
2025-07-15 cs.SD eess.AS
Low-latency Speech Enhancement via Speech Token Generation
Microsoft Research Asia（微软亚洲研究院）
针对数据驱动语音增强对未见噪声泛化不足的问题，提出基于 TF-Codec 的单阶段条件自回归语音 token 生成框架，并通过显式对齐实现低时延、高鲁棒性增强。
2024-01-23 cs.MM cs.SD eess.AS
Residual Tokens Enhance Masked Autoencoders for Speech Modeling
Inria at Univ. Grenoble Alpes, CNRS, LJK, France（Inria 与格勒诺布尔阿尔卑斯大学、CNRS、LJK 在法国）
RT-MAE通过引入残差可训练标记提升语音建模，增强语音重建质量与表达性，并适用于噪声抑制任务。
2026-01-27 cs.AI cs.SD
Improving Speech Enhancement with Multi-Metric Supervision from Learned Quality Assessment
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出用学习型语音质量评估模型的多指标预测作为监督信号来训练语音增强模型，以弥补SI-SNR等传统目标与感知质量不一致的问题，并在模拟和真实数据上验证了其有效性。
2025-08-22 cs.SD eess.AS
From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks
GN Hearing（GN听力）；Technical University of Denmark (DTU)（丹麦技术大学）
本文研究通过动态剪枝掩码估计语音增强网络中的信号属性，提出无需额外模型的高效方法，实现VAD、噪声分类和F0估计的高准确率。
2026-02-11 cs.LG cs.SD eess.AS
Evaluating the Impact of Discriminative and Generative E2E Speech Enhancement Models on Syllable Stress Preservation
Language Technology Research Centre, International Institute of Information Technology, Hyderabad（语言技术研究中心，印度海得拉巴国际信息技术学院）
该研究针对噪声环境下重音检测鲁棒性不足的问题，考察判别式与生成式端到端语音增强模型对音节重音保留的影响，结合机器检测与人类感知实验验证生成式模型结合启发式特征的鲁棒性。
2024-12-11 cs.SD eess.AS
DCCRN+: Channel-wise Subband DCCRN with SNR Estimation for Speech Enhancement
Northwestern Polytechnical University（西北工业大学）
深度复卷积递归网络（DCCRN）以复杂的结构扩展了CRN，在Interspeech 2020深度噪声抑制挑战赛（DNS 2020）的MOS评估中取得了优异的性能。本文通过以下重大修订进一步扩展了DCCRN。我们首先将模型扩展到子带处理，其中通过可学习的神经网络滤波器而不是工程FIR滤波器来分割和合并频带，从而以端到端的方式训练更快的噪声抑制器。然后，LSTM被进一步替换为复杂的TF-LSTM，以更好地沿时间和频率轴对时间依赖性进行建模。此外，我们不是简单地将每个编码器层的输出连接到相应解码器层的输入，而是使用卷积块首先从编码器输出中聚合基本信息，然后将其馈送到解码器层。我们特别制定了一个额外的先验信噪比估计模块的解码器，以保持良好的语音质量，同时消除噪声。最后采用后处理模块进一步抑制非自然残留噪声。这款名为DCCRN+的新机型在PESQ和DNSMOS方面已经超越了原有的DCCRN以及几款竞争机型，并在全新的Interspeech 2021 DNS挑战赛中取得了优异的成绩
2021-06-16 cs.SD eess.AS
Removing Speaker Information from Speech Representation using Variable-Length Soft Pooling
Seoul National University（首尔大学）
本文提出利用神经网络预测音素边界并进行可变长度软池化，以从自监督语音表示中去除说话人信息，并通过音素ABX和说话人识别任务验证其有效性。
2024-04-01 cs.AI cs.SD eess.AS
MeanFlowSE: one-step generative speech enhancement via conditional mean flow
School of Electronic Science and Engineering, Xiamen University, China（厦门大学电子科学与技术学院）；School of Informatics, Xiamen University, China（厦门大学信息学院）
MeanFlowSE通过条件均流实现单步生成语音增强，无需多步求解器，提升实时生成效率与保真度。
2026-03-04 cs.AI cs.SD
Speech-preserving active noise control: a deep learning approach in reverberant environments
School of Electrical and Electronic Engineering（电气与电子工程学院）
本文提出一种深度学习主动噪声控制系统，通过卷积循环网络和复杂频谱映射技术，在混响环境中实现稳定降噪并保留语音。
2026-04-13 cs.SD eess.AS eess.SP
The impact of removing head movements on audio-visual speech enhancement
Multidisciplinary Institute of Artificial Intelligence (MIAI)（多学科人工智能研究所）
本文研究了头部运动对视听语音增强（AVSE）的影响。虽然头部运动是一种常见的会话特征，但过去和最近的研究都忽略了头部运动：它们挑战了当今基于学习的方法，因为它们经常降低在干净，正面和稳定的面部图像上训练的模型的性能。为了缓解这个问题，我们建议使用强大的人脸正面化（RFF）结合AVSE方法的基础上变分自动编码器（VAE）模型。我们简要介绍了拟议的管道的基本成分，我们最近发布的视听数据集进行实验。根据这些实验，并基于三个标准的指标，即STOI，PESQ和SI-SDR，我们得出结论，RFF提高了性能的AVSE相当大的利润。
2022-02-02 cs.CV cs.SD eess.AS
Joint Echo Cancellation and Noise Suppression based on Cascaded Magnitude and Complex Mask Estimation
ByteDance（字节跳动）
回声和背景噪声会严重降低语音的可懂度。在实践中，回声和噪声抑制通常被视为两个独立的任务，并且可以通过各种数字信号处理（DSP）和深度学习技术来消除。在本文中，我们提出了一种新的级联模型，幅度和复杂的时间卷积神经网络（MC-TCN），共同执行声学回声消除和噪声抑制的帮助下，自适应滤波器。MC-TCN级联两个分离核，用于提取鲁棒的幅度谱特征，并同时增强幅度和相位。实验结果表明，该方法可以实现优异的性能，同时消除回声和噪声的实时性。在DECMOS方面，主观测试显示，我们的方法达到了4.41的平均得分，比INTERSPEECH 2021 AEC挑战赛基线高出0.54。
2021-07-20 cs.SD eess.AS
Removing Speech, Keeping Activities: Speech Removal for Privacy-Preserving Acoustic Sensing in Assisted Living
KIOS Research and Innovation Center of Excellence, University of Cyprus（塞浦路斯大学KIOS卓越研究与创新中心）；School of Computing, University of Kent（肯特大学计算机学院）
该研究提出基于U-Net编解码器的隐私防火墙流水线，可去除环境音频中的语音并保留活动相关环境音，在ESC-50、SINS及真实家庭录音上验证了其隐私保护与活动识别性能，解决老年护理声学感知的隐私障碍。
2026-11-03 cs.CR cs.HC cs.SD
Multi-Channel and Multi-Microphone Acoustic Echo Cancellation Using A Deep Learning Based Approach
The Ohio State University（俄亥俄州立大学）
本文在单扬声器（单通道）和单麦克风设置中基于深度学习的声学回声消除（AEC）的基础上，研究了多通道AEC（MCAEC）和多麦克风AEC（MMAEC）。我们训练一个深度神经网络（DNN）来预测来自麦克风信号的近端语音，其中远端信号用作附加信息。我们发现，深度学习方法避免了传统MCAEC算法中的非唯一性问题。对于具有多个麦克风的AEC设置，而不是对每个麦克风采用AEC，训练单个DNN以实现所有麦克风的回声去除。此外，将基于深度学习的AEC与基于深度学习的波束成形相结合进一步提高了系统性能。实验结果表明，双向长短期记忆（BLSTM）和卷积递归网络（CRN）的方法的有效性MCAEC和MMAEC。此外，基于深度学习的方法能够同时去除回声和噪声，并且在存在非线性失真的情况下工作良好。
2021-03-03 cs.SD eess.AS
Parameter Enhancement for MELP Speech Codec in Noisy Communication Environment
Search Solutions Inc.（搜索解决方案公司）；Yonsei University（延世大学）
在本文中，我们提出了一种基于深度学习（DL）的参数增强方法，用于噪声通信环境中的混合激励线性预测（MELP）语音编解码器。与传统的语音增强模块不同，传统的语音增强模块被设计成通过在语音编解码器处理之前去除噪声分量来获得干净的语音信号，所提出的方法直接增强编码器或解码器侧的编解码器参数。由于所提出的方法已经由小型网络实现而不需要传统增强系统中所需的任何附加过程，时频（T-F）分析/综合模块，其计算复杂度非常低。通过增强噪声破坏的编解码器参数与建议的DL框架，我们实现了一个增强系统，这是更简单和更快的比传统的基于T-F掩码的语音增强方法，而其性能的质量保持相似。
2019-06-20 cs.SD eess.AS eess.SP
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题，提出基于多任务音频源分离的联合识别模型JRSV，结合在线蒸馏提升鲁棒性，构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
SNDCNN: Self-normalizing deep CNNs with scaled exponential linear units for speech recognition
Apple Inc.（苹果公司）
非常深的CNN在计算机视觉和语音识别方面都取得了最先进的结果，但很难训练。训练非常深的CNN最流行的方法是使用快捷连接（SC）和批量归一化（BN）。受自规范化神经网络的启发，我们提出了基于自规范化深度CNN（SND CNN）的声学模型拓扑，通过移除SC/BN并用ResNet-50中的缩放指数线性单元（SELU）替换典型的CNOU激活。SELU激活使网络自我规范化，并消除了对快捷连接和批量归一化的需要。与ResNet- 50相比，我们可以实现相同或更低（相对高达4.5%）的字出错率（WER），同时将训练和推理速度提高60%-80%。我们还探索了其他模型推理优化方案，以进一步减少生产使用的延迟。
2020-03-23 cs.CL cs.LG cs.SD
Exploring a Single Autoregressive LLM for Unified Target Speech Extraction across Synchronous and Asynchronous Cues
TSE-Omni利用单一自回归LLM，通过自注册的下一令牌预测统一处理同步和异步线索的目标语音提取，在干净和损坏视觉下均保持高性能，支持流式推理。
2026-09-25 cs.MM cs.SD eess.AS
On the Generation and Removal of Speaker Adversarial Perturbation for Voice-Privacy Protection
University of Science and Technology of China（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
该研究针对语音隐私保护场景，提出联合训练说话人对抗扰动生成与去除模块的方法，在LibriSpeech数据集上验证了可在实现隐私保护的同时，由授权方从匿名语音中恢复原始语音，也可用于安全法医的语音去匿名。
2024-12-12 cs.LG cs.SD eess.AS
TF-Locoformer: Transformer with Local Modeling by Convolution for Speech Separation and Enhancement
MERL（三菱电机美国研究实验室）
本文提出TF-Locoformer，用卷积前馈网络替代RNN实现时频域双路径语音分离与增强，在保持局部建模能力的同时达到SoTA性能。
2024-08-06 cs.SD eess.AS
An improved DNN-based spectral feature mapping that removes noise and reverberation for robust automatic speech recognition
Universidad de Chile（智利大学）；Universidad de la Frontera（拉弗龙特拉大学）；Carnegie Mellon University（卡内基梅隆大学）
混响和加性噪声对自动语音识别系统的性能有不利影响。在本文中，我们探讨了基于DNN的频谱特征映射的能力，以消除混响和加性噪声的影响。使用CHiME-2数据库的实验表明，与基线系统相比，该DNN在SNR等于-6 dB，-3 dB，0 dB和3 dB时可以实现WER平均降低4.5%，并且在SNR大于6 dB和9 dB时仅降低0.8%。这些结果表明，该DNN在去除加性噪声方面比混响更有效。为了提高DNN的性能，我们将其与加权预测误差（WPE）方法相结合，该方法显示出互补的行为。虽然与基线相比，这种组合使WER降低了约11%，但观察到的改善不如单独使用WPE获得的改善那么大。然而，对DNN训练过程进行了修改，与基线系统相比，WER平均降低了18.3%。此外，与单独的WPE相比，改进的DNN结合WPE实现了7.9%的WER降低。
2018-04-03 cs.SD eess.AS
GAANet: Global-guided Asymmetric Attention Network for Audio-Visual Speech Separation
Hefei University of Technology（合肥工业大学）
针对音视频语音分离中多尺度特征融合效率低的问题，提出GAANet，通过非对称多尺度融合和全局引导注意力机制，在LRS2和VoxCeleb2上达到最先进性能，且参数和计算量小。
2026-10-05 cs.SD
