INTERSPEECH 2020深度噪声抑制挑战赛：数据集、主观测试框架和挑战结果

基于级联幅度和复掩模估计的联合回波抵消和噪声抑制

Joint Echo Cancellation and Noise Suppression based on Cascaded Magnitude and Complex Mask Estimation

ByteDance（字节跳动）

回声和背景噪声会严重降低语音的可懂度。在实践中，回声和噪声抑制通常被视为两个独立的任务，并且可以通过各种数字信号处理（DSP）和深度学习技术来消除。在本文中，我们提出了一种新的级联模型，幅度和复杂的时间卷积神经网络（MC-TCN），共同执行声学回声消除和噪声抑制的帮助下，自适应滤波器。MC-TCN级联两个分离核，用于提取鲁棒的幅度谱特征，并同时增强幅度和相位。实验结果表明，该方法可以实现优异的性能，同时消除回声和噪声的实时性。在DECMOS方面，主观测试显示，我们的方法达到了4.41的平均得分，比INTERSPEECH 2021 AEC挑战赛基线高出0.54。

2021-07-20cs.SDeess.AS

一个可扩展的噪声语音数据集和在线主观测试框架

A scalable noisy speech dataset and online subjective test framework

Microsoft Corp.（微软公司）

背景噪声是互联网协议语音（VoIP）和公共交换电话网（PSTN）呼叫中质量损害的主要来源。最近的工作显示了深度学习对噪声抑制的功效，但与其他领域（例如，ImageNet）和相关的评估更加集中。为了更好地促进语音增强中的深度学习研究，我们提出了一个带噪语音数据集（MS-SNSD），该数据集可以根据扬声器的数量、噪声类型和所需的语音噪声比（SNR）水平扩展到任意大小。我们表明，增加数据集的大小增加了噪声抑制性能的预期。此外，我们提供了一个开源的评估方法，使用众包对结果进行主观评估，并使用参考算法对结果进行标准化。为了证明数据集和评估框架，我们将其应用于几个噪声抑制器，并将主观平均意见得分（MOS）与客观质量指标（如SNR，PESQ，POLQA和VISQOL）进行比较，并说明为什么仍然需要MOS。我们的主观MOS评估是我们所知道的第一次对语音增强算法进行大规模评估。

2019-09-17cs.LGcs.SDeess.AS

语言水平对噪声抑制算法主观评价的影响

Effect of Language Proficiency on Subjective Evaluation of Noise Suppression Algorithms

Technische Universität Berlin（柏林工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）

基于IP语音技术的语音通信系统经常被目标语言的母语者以及非母语者使用，例如在国际电话呼叫或电话会议中。通常，这样的呼叫也发生在嘈杂的环境中，使得噪声抑制模块对于提高感知的体验质量是必要的。而标准的测试，用于评估感知质量使用的母语听众，我们假设，降噪语音和残余噪音可能会影响母语和非母语的听众的目标语言以不同的方式。为了验证这一假设，我们报告的两个主观测试的结果进行英语和德语母语的听众判断语音样本的质量记录的母语为英语，德语和普通话的扬声器，这是退化与不同的背景噪声水平和噪声抑制效果。这些实验遵循标准化ITU-T Rec. P.835方法进行，但根据ITU-T Rec. P.808在众包环境中实施。我们的研究结果表明，语言对语音信号评级，因此，在特定条件下的整体感知质量的显着影响。

2020-10-26cs.MMcs.SDeess.AS

Y $^2$ -用于声学回声和噪声抑制的Net FCRN

Y$^2$-Net FCRN for Acoustic Echo and Noise Suppression

Institute for Communications Technology, Technische Universität Braunschweig（布伦瑞克工业大学通信技术研究所）

近年来，深度神经网络（DNN）被研究作为传统声学回声消除（AEC）算法的替代方案。所提出的模型取得了显着的性能AEC和残余回波抑制（RES）的单独任务。一个有前途的网络拓扑是一个完全卷积递归网络（FCRN）结构，它已经证明了其性能的噪声抑制和AEC任务，分别。然而，AEC，后置滤波和噪声抑制到单个网络的组合通常会导致近端语音分量的质量明显下降，这是由于缺乏回声估计的单独损失。在本文中，我们提出了一个两阶段模型（Y $^2$ -Net），它由两个FCRN，每个有两个输入和一个输出（Y-Net）。第一阶段（AEC）产生回声估计，作为DNN AEC模型的新颖性，第二阶段进一步使用该回声估计来执行RES和噪声抑制。虽然Interspeech 2021 AEC Challenge的主观听力测试大多产生了接近基线的结果，但在挑战组织者提供的仪器度量DECMOS的双重谈话中，所提出的方法在盲测试集上的基线上平均提高了0.46分。

2021-07-18cs.SDeess.AS

DCCRN +：用于语音增强的具有SNR估计的逐行子带DCCRN

DCCRN+: Channel-wise Subband DCCRN with SNR Estimation for Speech Enhancement

Northwestern Polytechnical University（西北工业大学）

深度复卷积递归网络（DCCRN）以复杂的结构扩展了CRN，在Interspeech 2020深度噪声抑制挑战赛（DNS 2020）的MOS评估中取得了优异的性能。本文通过以下重大修订进一步扩展了DCCRN。我们首先将模型扩展到子带处理，其中通过可学习的神经网络滤波器而不是工程FIR滤波器来分割和合并频带，从而以端到端的方式训练更快的噪声抑制器。然后，LSTM被进一步替换为复杂的TF-LSTM，以更好地沿时间和频率轴对时间依赖性进行建模。此外，我们不是简单地将每个编码器层的输出连接到相应解码器层的输入，而是使用卷积块首先从编码器输出中聚合基本信息，然后将其馈送到解码器层。我们特别制定了一个额外的先验信噪比估计模块的解码器，以保持良好的语音质量，同时消除噪声。最后采用后处理模块进一步抑制非自然残留噪声。这款名为DCCRN+的新机型在PESQ和DNSMOS方面已经超越了原有的DCCRN以及几款竞争机型，并在全新的Interspeech 2021 DNS挑战赛中取得了优异的成绩

2021-06-16cs.SDeess.AS

采用真实训练数据进行深度噪声抑制

Employing Real Training Data for Deep Noise Suppression

提出使用PESQ-DNN作为无参考损失，在深度噪声抑制训练中利用真实数据，通过交替训练协议提升模型性能，在合成和真实测试数据上均优于基线。

2023-09-05cs.SDeess.AS

深度噪声抑制最大化非侵入PESQNet介导的不可微PESQ

Deep Noise Suppression Maximizing Non-Differentiable PESQ Mediated by a Non-Intrusive PESQNet

Technische Universität Braunschweig（不伦瑞克工业大学）

采用深度神经网络（DNN）进行去噪的语音增强被称为深度噪声抑制（DNS）。在训练期间，DNS方法通常用均方误差（MSE）类型的损失函数来训练，这不能保证良好的感知质量。语音质量感知评价（PESQ）是一种广泛应用的语音质量评价指标。然而，原始PESQ算法是不可微的，因此不能直接用作基于梯度的学习的优化准则。在这项工作中，我们提出了一个端到端的非侵入性PESQNet DNN来估计增强语音信号的PESQ分数。因此，通过提供无参考的感知损失，它充当DNS训练的中介，允许最大化增强语音信号的PESQ分数。我们说明了我们提出的PESQNet介导的培训已经强大的基线DNS的基础上的潜力。作为进一步的新颖性，我们建议交替地训练DNS和PESQNet，以使PESQNet保持最新，并特别针对训练中的DNS表现良好。我们提出的方法与使用基于MSE的损失进行联合去噪和去混响训练的相同DNS以及Interspeech 2021 DNS挑战基线进行了比较。详细的分析表明，与基于MSE的损失的训练相比，PESQNet中介可以在合成测试数据上进一步提高DNS性能约0.1 PESQ点，在真实测试数据上提高0.03 DNSMOS点。我们提出的方法在合成测试数据上比挑战基线高出0.2个PESQ点，在真实测试数据上高出0.1个DNSMOS点。

2021-11-06cs.SDeess.AS

环境感知的可重构噪声抑制

Environment-aware Reconfigurable Noise Suppression

Facebook AR/VR Division（Facebook增强现实/虚拟现实部门）

本文提出了一种有效的，鲁棒的，可重构的技术，以抑制各种类型的噪声，任何采样率。理论分析、主观和客观测试结果表明，本文提出的噪声抑制（NS）方案显著提高了语音传输指数（STI）、语音清晰度（SI）、信噪比（SNR）和主观听觉体验。STI和SI由5个级别组成，即，坏的、差的、一般的、好的和优秀的。最常见的噪声条件是SNR范围为-5至8 dB。对于-5到2.5dB的输入SNR，所提出的NS将STI和SI从“公平”改善到“良好”。对于2.5 ~ 8dB的输入信噪比，该方法可使STI和SI从“良好”提高到“优秀”。建议的NS可以通过在互联网协议语音，语音触发，和自动语音识别应用程序的捕获和回放路径。

2020-01-29cs.SDeess.ASeess.SP

基于加权递归最小二乘滤波器和神经网络的剩余回波抑制

Weighted Recursive Least Square Filter and Neural Network based Residual Echo Suppression for the AEC-Challenge

Alibaba Group（阿里巴巴集团）；Beijing Sound Connect Technology（北京声联科技）

本文提出了一种实时声学回声消除（AEC）算法提交给AEC挑战。该算法由三个模块组成：基于广义互相关PHAse变换（GCC-PHAT）的时延补偿、基于加权递归最小二乘（wRLS）的线性自适应滤波和基于神经网络的残余回波抑制。wRLS滤波器是从一个新的半盲声源分离的角度。神经网络模型基于对准的参考和线性滤波器输出来预测相敏掩模（PSM）。该算法的平均主观得分为4.00，在AEC挑战赛中排名第二。

2021-02-18cs.SDeess.AS

DNSMOS：一种评价噪声抑制器的非侵入性感知客观语音质量度量

DNSMOS: A Non-Intrusive Perceptual Objective Speech Quality metric to evaluate Noise Suppressors

Microsoft Corporation（微软公司）

人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。传统的和广泛使用的度量需要参考干净的语音信号，这在实际记录中是不可用的。无参考方法与人类评级的相关性很差，在研究界没有被广泛采用。这些感知客观指标的最大用例之一是评估噪声抑制算法。本文介绍了一个多阶段的自我教学为基础的感知客观度量，旨在评估噪声抑制器。所提出的方法在具有挑战性的测试条件下具有很高的相关性，以人类的评级推广。

2021-02-10cs.LGcs.SDeess.AS

DBNet：一种基于频谱和波形处理的双分支网络结构的单通道语音增强

DBNet: A Dual-branch Network Architecture Processing on Spectrum and Waveform for Single-channel Speech Enhancement

Inner Mongolia University（内蒙古大学）

在实际声学环境中，语音增强是一项艰巨的任务，它要提高受背景噪声和混响干扰的语音的质量和可懂度。在过去的几年里，深度学习在语音增强方面显示出了巨大的潜力。在本文中，我们提出了一种新的实时框架称为DBNet，这是一个双分支结构与交替互连。每个分支包含具有跳过连接的编码器-解码器架构。这两个分支分别负责频谱和波形建模。两个分支之间采用桥接层进行信息交换。系统的评估和比较表明，该系统大大优于相关算法在非常具有挑战性的环境下。在INTERSPEECH 2021深度噪声抑制（DNS）挑战中，该系统在ITU-T P.835框架的平均意见得分（MOS）方面在实时轨道1中排名前8位。

2021-05-06cs.SDeess.AS

基于深度神经网络的语音增强系统的主观评价

Subjective Evaluation of Deep Neural Network Based Speech Enhancement Systems in Real-World Conditions

Tampere University（坦佩雷大学）；Huawei（华为）

两个低延迟深度神经网络（DNN）的主观评价结果进行比较，一个成熟的版本的传统维纳滤波器的噪声抑制器。目标用例是真实世界的单通道语音增强应用，例如，通讯真实世界的录音组成的附加固定和非固定噪声类型包括在内。评估分为四个结果：语音质量、噪声透明度、语音清晰度或听力努力度以及噪声水平w.r.t.演讲结果表明，DNN在所有条件下都能改善噪声抑制，与传统的维纳滤波器基线相比，语音质量和噪声透明度没有重大下降，同时保持语音清晰度优于基线。

2022-08-14cs.MMcs.SDeess.AS

DPT-FSNet：基于双路Transformer的全带和子带语音增强融合网络

DPT-FSNet: Dual-path Transformer Based Full-band and Sub-band Fusion Network for Speech Enhancement

Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）

子带模型已经取得了可喜的成果，由于他们的能力，在频谱图中的局部模式建模。一些研究通过融合子带和全带信息进一步提高性能。然而，全频带和子频带融合模型的结构没有被充分探索。提出了一种基于双通道变换器的全带与子带融合网络（DPT-FSNet）用于频域语音增强。双路径Transformer的帧内和帧间部分分别模拟子带和全带信息。我们所提出的方法所利用的功能是更可解释的时域双路Transformer所利用的。我们在Voice Bank + DEMAND和Interspeech 2020深度噪声抑制（DNS）数据集上进行了实验，以评估所提出的方法。实验结果表明，该方法优于目前的国家的最先进的。

2022-01-25cs.SDeess.AS

双端通话时残余回波抑制的客观评价

Objective Metrics to Evaluate Residual-Echo Suppression During Double-Talk

Technion -- Israel Institute of Technology（以色列理工学院）

人的主观评价是最佳的评估人类感知的语音质量。最近引入的深度噪声抑制平均意见评分（DNSMOS）指标被证明可以非常准确地估计人类评级。信号失真比（SDR）度量被广泛用于通过估计双端通话期间的语音质量来评估残余回声抑制（RES）系统。然而，由于SDR受到语音失真和残余回声存在的影响，因此根据DNSMOS，它与人类评级没有很好的关联。为了解决这一问题，我们引入了两个客观的指标，分别量化的期望语音保持水平（DSML）和残余回声抑制水平（RESL）在双说话。使用具有可调设计参数的基于深度学习的RES系统来评估这些度量。使用280小时的真实和模拟录音，我们表明，DSML和RESL与DNSMOS相关性很好，具有高度的泛化能力，以各种设置。此外，我们经验研究之间的关系，调整RES系统的设计参数和DSML-RESL的权衡，它创建并提供一个实用的设计方案，动态系统的要求。

2021-07-15cs.SDeess.AS

Uformer：一种基于Unet的扩张复实双径保形网络同时实现语音增强和混响消除

Uformer: A Unet based dilated complex & real dual-path conformer network for simultaneous speech enhancement and dereverberation

Northwestern Polytechnical University（西北工业大学）；Sogou Inc.（搜狗公司）

复频谱和幅度被认为是语音增强和去混响的两个主要特征。传统的方法总是将这两个特征分开处理，忽略了它们之间的内在联系。本文提出了Uformer，一种基于Unet的复-实双径扩张保形网络，用于同时进行语音增强和混响消除。我们利用时间注意力（TA）和扩张卷积（DC）来利用局部和全局上下文信息和频率注意力（FA）来建模维度信息。这三个子模块组成的扩展复实双径一致器模块有效地提高了语音增强和去混响性能。此外，采用混合编码器和解码器，同时对复频谱和幅度进行建模，促进两个域之间的信息交互。编码器/解码器的注意力也被应用于增强编码器和解码器之间的交互。我们的实验结果优于所有的SOTA时间和复杂的域模型客观和主观。具体而言，Uformer在Interspeech 2021 DNS Challenge的盲测集上达到3.6032 DNSMOS，优于所有表现最好的模型。我们还进行了烧蚀实验，梳理除了所有提出的子模块是最重要的。

2022-05-05cs.SDeess.AS

DCCRN：用于相位感知语音增强的深度复卷积递归网络

DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement

Sogou（搜狗）

语音增强受益于深度学习在可懂度和感知质量方面的成功。传统的时频（TF）域方法集中于经由朴素卷积神经网络（CNN）或递归神经网络（RNN）来预测TF掩模或语音频谱。最近的一些研究使用复值谱图作为训练目标，但是训练在实值网络中，分别预测幅度和相位分量或实部和虚部。特别是，卷积递归网络（CRN）集成了卷积编码器-解码器（CED）结构和长短期记忆（LSTM），这已被证明对复杂目标有帮助。为了更有效地训练复杂目标，本文设计了一种模拟复值运算的网络结构，称为深度复卷积递归网络（DCCRN），其中CNN和RNN结构都可以处理复值运算。建议DCCRN模型是非常有竞争力的其他以前的网络，无论是在客观或主观的度量。仅使用370万个参数，我们提交给Interspeech 2020深度噪声抑制（DNS）挑战赛的DCCRN模型在平均意见得分（MOS）方面排名实时跟踪第一，非实时跟踪第二。

2020-09-23cs.SDeess.AS

ICASSP 2021深度噪声抑制挑战赛：使用两级深度网络进行幅度和相位解耦优化

ICASSP 2021 Deep Noise Suppression Challenge: Decoupling Magnitude and Phase Optimization with a Two-Stage Deep Network

Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）

在真实的声学环境中，如何恢复被各种噪声污染的语音信号仍然是一个严峻的挑战。为此，我们提出了一种新的系统去噪在复杂的应用，这主要是由两个管道，即一个两级网络和后处理模块。第一流水线被提出用于解耦优化问题w：r：t：幅度和相位，即，在第一阶段中仅估计幅度，并且在第二阶段中进一步细化两者。第二条流水线旨在进一步抑制剩余的不自然的失真噪声，这被证明足以提高主观质量。在ICASSP 2021深度噪声抑制（DNS）挑战赛中，我们提交的系统在ITU-T P.808框架下的平均意见得分（MOS）方面排名第一。

2021-03-01cs.SDeess.AS

SCA：用于回声消除的流交叉注意对准

SCA: Streaming Cross-attention Alignment for Echo Cancellation

Meta

端到端深度学习已经在语音增强任务中显示出有希望的结果，例如噪声抑制、去混响和语音分离。然而，大多数最先进的回声消除方法是基于DSP的经典算法或混合DSP-ML算法。延迟估计器和自适应线性滤波器等组件基于传统的信号处理概念，深度学习算法通常仅用于取代非线性残留回声抑制器。本文介绍了一种端到端的回声消除网络与流交叉注意对齐（SCA）。我们提出的方法可以处理未对齐的输入，而不需要外部对齐，并生成高质量的语音没有回声。同时，端到端算法简化了时变回声路径情况下的当前回声消除流水线。我们在ICASSP 2022和Interspeech 2021 Microsoft深度回声消除挑战评估数据集上测试了我们提出的方法，其中我们的方法优于其他一些混合和端到端方法。

2022-11-01cs.SDeess.ASeess.SP

一种目标解耦的同时去噪和去混响框架

A Simultaneous Denoising and Dereverberation Framework with Target Decoupling

Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Communication University of China（中国传媒大学）

背景噪声和室内混响是影响语音主观质量的两个主要因素。在本文中，我们提出了一个集成的框架，以解决在复杂的场景环境下同时去噪和去混响。采用链式优化策略，设计了四个子阶段。在前两个阶段中，我们解耦了多任务学习w.r.t.将复杂频谱分解为幅度和相位，并且仅在幅度域中实现噪声和混响去除。基于上述估计的先验，我们在第三阶段进一步抛光频谱，其中幅度和相位信息都通过残差学习显式修复。由于数据失配和DNN的非线性效应，DNN处理后的频谱中往往存在残余噪声。为了解决这个问题，我们采用了一个轻量级的算法作为后处理模块，捕获和抑制非活动区域的残留噪声。在Interspeech 2021深度噪声抑制（DNS）挑战赛中，我们提交的系统在ITU-T P.835框架的平均意见得分（MOS）方面排名第一

2021-06-24cs.SDeess.AS

DPCRN：用于单通道语音增强的双通道卷积递归网络

DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement

Nanjing University（南京大学）；Horizon Robotics（地平线机器人）；Nanjing Institute of Advanced Artificial Intelligence（南京人工智能高等研究院）

为了更有效地在时域内对超长语音序列进行建模，提出了双路径RNN（DPRNN）。通过将长序列分割成较小的块，并应用块内和块间RNN，DPRNN在有限的模型大小下实现了有希望的语音分离性能。在本文中，我们结合DPRNN模块和卷积递归网络（CRN），并设计了一个称为双路径卷积递归网络（DPCRN）的语音增强模型的时间-频率域。我们将CRN中的RNN替换为DPRNN模块，其中块内RNN用于对单个帧中的频谱模式进行建模，而块间RNN用于对连续帧之间的依赖性进行建模。仅使用0.8M参数，提交的DPCRN模型在Interspeech 2021深度噪声抑制（DNS）挑战的宽带场景轨道中实现了3.57的总体平均意见得分（MOS）。对其他测试集的评价也表明了我们模型的有效性。

2021-07-12cs.SDeess.AS

DNSMOS P.835：一种评价噪声抑制器的非侵入性感知客观语音质量度量

DNSMOS P.835: A Non-Intrusive Perceptual Objective Speech Quality Metric to Evaluate Noise Suppressors

Microsoft Corporation（微软公司）

人的主观评价是评价语音质量的金标准。感知客观指标作为主观评分的代理。我们最近开发了一种非侵入性的语音质量度量，称为深度噪声抑制平均意见得分（DNSMOS），使用ITU-T Rec.P.808主观评估的得分。P.808分数反映了音频剪辑的整体质量。ITU-T Rec.P.835主观评价框架除了给出总体质量之外，还给出了语音和背景噪声的独立质量分数。在这项工作中，我们训练基于P.835人类评级的客观度量，其输出3个分数：i）语音质量（SIG），ii）背景噪声质量（BAK），以及iii）音频的整体质量（OVRL）。所开发的度量与人类评级高度相关，SIG的Pearson相关系数（PCC）=0.94，BAK和OVRL的PCC=0.98。这是我们所知道的第一个非侵入式P.835预测器。DNSMOS P.835作为Azure服务公开提供。

2022-02-04cs.SDeess.AS

PESQNet（损失）是否需要干净的参考输入？原始的PESQ可以，但ACR听力测试不可以

Does a PESQNet (Loss) Require a Clean Reference Input? The Original PESQ Does, But ACR Listening Tests Don't

语音质量的感知评价（PESQ）需要一个干净的语音参考作为输入，但预测的结果（无参考）绝对类别评级（ACR）测试。在这项工作中，我们训练一个完全卷积的递归神经网络（FCRN）作为深度噪声抑制（DNS）模型，使用非侵入式或侵入式PESQNet，其中只有后者可以访问干净的语音参考。PESQNet被用作在DNS训练期间提供感知损失的中介，以最大化增强语音信号的PESQ分数。对于侵入式PESQNet，我们研究了两种拓扑结构，称为早期融合（EF）和中期融合（MF）PESQNet，并与非侵入式PESQNet进行比较，以评估和量化在DNS训练期间采用干净语音参考输入的好处。详细的分析表明，使用MF侵入式PESQNet训练的DNS分别比Interspeech 2021 DNS Challenge基线和使用MSE损失训练的相同DNS分别高出0.23和0.12个PESQ点。此外，我们可以证明，与使用非侵入式PESQNet训练的DNS相比，只获得了边际效益。因此，作为ACR听力测试，PESQNet不一定需要干净的语音参考输入，从而可以使用真实数据进行DNS训练。

2022-05-13cs.SDeess.AS

Aura：用于提升语音增强测试集多样性的隐私保护增强方法

Aura: Privacy-preserving Augmentation to Improve Test Set Diversity in Speech Enhancement

Microsoft（微软）；Google（谷歌）；Uber（优步）

本文提出Aura，一种隐私保护的测试集增强方法，通过预训练特征提取器和语音质量指标DNSMOS P.835，在无需听取客户数据的情况下提升噪声抑制测试集的难度和多样性，实验证明其在多项指标上显著优于随机采样。

2023-04-04cs.CRcs.SDeess.AS

Interspeech 2025 URGENT 语音增强挑战赛

Interspeech 2025 URGENT Speech Enhancement Challenge

本文介绍了 Interspeech 2025 URGENT 语音增强挑战赛，旨在探索语言依赖性、失真通用性、数据可扩展性及带噪数据有效性。比赛共收到32份提交，分析发现生成式或混合方法在主观评估中表现更优，且纯生成式模型存在语言依赖性。

2025-06-02eess.AS

自监督学习合成语音增强

Self-Supervised Learning for Speech Enhancement through Synthesis

Bose Corporation（博士公司）；Georgia Institute of Technology（佐治亚理工学院）

现代语音增强（SE）网络通常通过时频掩蔽、潜在表示掩蔽或区分信号预测来实现噪声抑制。相比之下，最近的一些作品通过生成语音合成探索SE，其中系统的输出在固有的有损特征去噪步骤之后由神经声码器合成。在本文中，我们提出了一种去噪声码器（DeVo）的方法，其中声码器接受嘈杂的表示，并学习直接合成干净的语音。我们利用自监督学习（SSL）语音模型的丰富表示来发现相关特征。我们在15个潜在的SSL前端进行候选搜索，随后训练我们的声码器对抗最好的SSL配置。此外，我们展示了一个因果版本，能够在流媒体音频上运行，延迟10毫秒，性能下降最小。最后，我们进行了客观评估和主观听力研究，以表明我们的系统提高了客观指标，主观上优于现有的最先进的SE模型。

2022-11-04cs.CLcs.LGcs.SD

CleanUMamba：一种利用通道剪枝的紧凑型Mamba网络用于语音降噪

CleanUMamba: A Compact Mamba Network for Speech Denoising using Channel Pruning

Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology（电气工程、数学和计算机科学学院，代尔夫特理工大学）；Leiden Institute of Advanced Computer Science (LIACS), Leiden University（先进计算机科学研究所（LIACS），莱顿大学）

本文提出CleanUMamba，一种基于U-Net结构与Mamba状态空间模型的实时语音降噪网络，通过结构化通道剪枝将模型压缩8倍，仅以442K参数在Interspeech 2020深度噪声抑制挑战赛中取得PESQ 2.42和STOI 95.1%的优异性能。

2025-02-10cs.AIcs.CVcs.SD

基于MetricGAN后处理的语音增强模型客观分数提升

Boosting Objective Scores of a Speech Enhancement Model by MetricGAN Post-processing

National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）

在许多不同的自然语言处理应用中，与递归神经网络相比，Transformer架构已经展示了卓越的能力。因此，我们的研究将改进的Transformer应用于语音增强任务中。具体地，Transformer中的位置编码对于语音增强可能不是必需的，因此，它被卷积层代替。为了进一步提高增强语音的语音质量（PESQ）分数的感知评估，使用MetricGAN框架对L_1预训练的Transformer进行微调。所提出的MetricGAN可以被视为一个通用的后处理模块，以进一步提高感兴趣的客观分数。这些实验是使用深度噪声抑制（DNS）挑战赛组织者提供的数据集进行的。实验结果表明，该系统优于挑战基线，在主观和客观的评价，有很大的利润。

2021-03-03cs.LGcs.SDeess.AS

个性化超高斯单麦克风语音增强助听器用户与智能手机作为辅助设备

An individualized super Gaussian single microphone Speech Enhancement for hearing aid users with smartphone as an assistive device

本文提出了一种基于超高斯联合最大后验概率的单麦克风语音增强增益函数。开发的语音增强方法在智能手机上实现，这种安排作为助听器的辅助设备。我们引入了一个权衡参数，在派生的增益函数，允许智能手机用户自定义他们的听力偏好，通过控制噪声抑制和语音失真的量在实时的基础上，他们在嘈杂的现实世界的声学环境中感知的听觉舒适度。客观的质量和可懂度的措施表明所提出的方法的有效性相比，基准技术在本文中考虑。主观结果反映了有用的开发语音增强应用在现实世界中的噪声条件下的信号噪声比水平为0 dB和5 dB。

2018-12-10cs.SDeess.AS

神经声码器参数再合成

Parametric Resynthesis with neural vocoders

The Graduate Center, CUNY（纽约城市大学研究生中心）；Brooklyn College（布鲁克林学院）；Computer Science（计算机科学系）；Computer and Information Science（计算机与信息科学系）

噪声抑制系统通常产生具有折衷质量的输出语音。我们建议利用高品质的语音生成能力的神经声码器的噪声抑制。我们使用一个神经网络来预测干净的梅尔频谱图功能，从嘈杂的语音，然后比较两个神经声码器，WaveNet和WaveGlow，从预测梅尔频谱图合成干净的语音。WaveNet和WaveGlow都比声源分离模型Chimera++获得了更好的主观和客观质量分数。此外，WaveNet和WaveGlow还实现了比Oracle Wiener掩码更好的主观质量评级。此外，我们观察到，在WaveNet和WaveGlow之间，WaveNet实现了最佳的主观质量分数，尽管代价是波形生成速度要慢得多。

2019-11-14cs.LGcs.SDeess.AS

ICASSP 2021深度噪声抑制挑战赛

ICASSP 2021 Deep Noise Suppression Challenge

深度噪声抑制（DNS）挑战赛旨在促进噪声抑制领域的创新，以实现卓越的感知语音质量。我们最近在INTERSPEECH 2020上组织了DNS挑战特别会议。我们为研究人员开放了训练和测试数据集，以训练他们的噪声抑制模型。我们还开源了一个主观评估框架，并使用该工具来评估和挑选最终的获奖者。来自学术界和工业界的许多研究人员为推动该领域的发展做出了重大贡献。我们还了解到，作为一个研究社区，我们仍然有很长的路要走，在具有挑战性的嘈杂实时条件下实现卓越的语音质量。在这个挑战中，我们正在扩展我们的训练和测试数据集。有两个轨道，一个专注于实时去噪，另一个专注于实时个性化深度噪声抑制。我们还提供了一个非侵入性的客观语音质量指标DNSMOS，供参与者在开发阶段使用。最终的评估将基于主观测试。

2020-10-26eess.AS

使用非侵入式PESQNet监督实现深度噪声抑制，从而能够使用真实训练数据

Deep Noise Suppression With Non-Intrusive PESQNet Supervision Enabling the Use of Real Training Data

采用深度神经网络（DNN）的数据驱动的语音增强即使在存在非平稳噪声的情况下也可以提供最先进的性能。在训练过程中，大多数语音增强神经网络都是以完全监督的方式进行训练的，损失需要由干净的语音和加性噪声合成带噪语音。然而，在实际的实现中，只有嘈杂的语音混合物是可用的，这导致了这样的数据如何能够有利地用于训练的问题。在这项工作中，我们提出了一个端到端的非侵入性PESQNet DNN，它估计语音质量的感知评估（PESQ）分数，允许真实数据的无参考损失。作为进一步的新颖性，我们将PESQNet损失与去噪和去混响损失项相结合，并以“弱”监督的方式训练一个复杂的基于掩码的全卷积递归神经网络（FCRN），每个训练周期采用一些合成数据，一些真实数据，再合成数据，以保持PESQNet最新。在主观听力测试中，我们提出的框架比Interspeech 2021深度噪声抑制（DNS）挑战基线整体高出0.09 MOS点，特别是0.45背景噪声MOS点。

2021-03-31eess.AS

P.808 多语言语音增强测试：URGENT 2025 挑战赛的方法与结果

P.808 Multilingual Speech Enhancement Testing: Approach and Results of URGENT 2025 Challenge

本文围绕 URGENT 2025 多语言语音增强挑战赛，介绍 ITU-T P.808 众包 ACR 听辨测试的文本与音频本地化流程，并指出评估生成式方法需结合语音保真度指标以检测幻觉。

2025-07-25eess.AS

WaveNet声码器的语音压缩段检测与抑制

Collapsed speech segment detection and suppression for WaveNet vocoder

Nagoya University（名古屋大学）

在本文中，我们提出了一种技术，以减轻崩溃的语音段有时产生的WaveNet声码器所造成的质量下降。WaveNet声码器用于从声学特征生成自然语音的有效性已在最近的工作中得到证明。然而，当只有有限数量的训练数据可用或训练数据和测试数据之间存在显著的声学失配时，它有时会生成具有折叠语音段的非常嘈杂的语音。这种对语料库的限制和有限的模型能力很容易出现在某些语音生成应用中，例如语音转换和语音增强。为了解决这个问题，我们提出了一种技术来自动检测崩溃的语音段。此外，为了细化检测到的片段，我们还提出了一种波形生成技术的WaveNet使用线性预测编码约束。验证和主观测试进行调查所提出的技术的有效性。验证结果表明，该检测技术可以检测到大多数塌陷段。语音转换的主观评价表明，该生成技术显着提高了语音质量，同时保持相同的说话人相似性。

2018-08-09cs.SDeess.AS

在自然条件挑战中开发顶级框架用于分类情感预测：从语音基础模型和学习目标到数据增强与工程选择

Developing a Top-tier Framework in Naturalistic Conditions Challenge for Categorized Emotion Prediction: From Speech Foundation Models and Learning Objective to Data Augmentation and Engineering Choices

University of Southern California（南加州大学）

本文提出SAILER系统参加INTERSPEECH 2025情感识别挑战赛，通过优化建模、学习目标、数据增强和工程选择，在自然情感语音上取得Macro-F1超过0.4的成绩，单一系统即超越95%的提交，三系统集成后进入前三名。

2025-06-02cs.SDeess.AS

采用WaveNet声码器和压缩语音抑制的非并行语音转换系统

Non-parallel Voice Conversion System with WaveNet Vocoder and Collapsed Speech Suppression

Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）；Graduate School of Information Science, Nagoya University（名古屋大学信息科学研究科）

在本文中，我们集成了一个简单的非并行语音转换（VC）系统与WaveNet（WN）声码器和建议的折叠语音抑制技术。WN作为基于声学特征生成高保真语音波形的声码器的有效性已在最近的工作中得到证实。然而，当将WN声码器与VC系统相结合时，失真的声学特征、声学和时间失配以及曝光偏差通常导致显著的语音质量下降，使得WN生成一些非常嘈杂的语音段，称为塌陷语音。为了解决这个问题，我们采取传统的声码器生成的语音作为参考语音推导出一个线性预测编码分布约束（LPCDC），以避免崩溃的语音问题。此外，为了减轻由LPCDC引入的负面影响，我们提出了一个崩溃的语音段检测器（CSSD），以确保LPCDC仅适用于有问题的段，以限制质量损失到短时间内。进行了客观和主观评价，实验结果证实了所提出的方法的有效性，进一步提高了我们以前提交给2018年语音转换挑战赛的非并行VC系统的语音质量。

2020-04-07cs.SDeess.AS

采用比较类别评级评估语音增强算法的众包设计研究

On Crowdsourcing-design with Comparison Category Rating for Evaluating Speech Enhancement Algorithms

本文利用 P.808 众包与 CCR 主观评估三种 RTC 语音增强算法，并与 DNSMOS、ViSQOL 和 3QUEST 对比，揭示用户偏好差异及评估设计要点。

2023-06-02eess.AS

基于噪声相关超高斯-相干的双麦克风语音增强在智能手机助听器中的应用

Noise dependent Super Gaussian-Coherence based dual microphone Speech Enhancement for hearing aid application using smartphone

本文利用语音和噪声信号的相干性，结合超高斯联合最大后验概率（SGJMAP）单麦克风语音增强增益函数，得到一种语音增强（SE）增益函数。所提出的SE方法可以在智能手机上实现，该智能手机用作助听器的辅助设备。相干SE增益函数虽然能很好地抑制背景噪声，但也会使语音失真。相反，SE使用SGJMAP提高语音质量与额外的音乐噪声，我们包含使用后滤波器。这两个增益函数的加权联合在噪声抑制和语音失真之间取得了平衡。在导出的增益函数中引入“加权”参数，以允许智能手机用户基于不同的背景噪声和他们的听觉舒适度来控制加权因子。所提出的方法的客观和主观的措施相比，本文考虑的几个嘈杂的条件下，在信噪比水平为-5 dB，0 dB和5 dB的标准技术显示出有效的改善。

2020-01-27eess.AS