Y$^2$-Net FCRN for Acoustic Echo and Noise Suppression
Institute for Communications Technology, Technische Universität Braunschweig（布伦瑞克工业大学通信技术研究所）
近年来，深度神经网络（DNN）被研究作为传统声学回声消除（AEC）算法的替代方案。所提出的模型取得了显着的性能AEC和残余回波抑制（RES）的单独任务。一个有前途的网络拓扑是一个完全卷积递归网络（FCRN）结构，它已经证明了其性能的噪声抑制和AEC任务，分别。然而，AEC，后置滤波和噪声抑制到单个网络的组合通常会导致近端语音分量的质量明显下降，这是由于缺乏回声估计的单独损失。在本文中，我们提出了一个两阶段模型（Y $^2$ -Net），它由两个FCRN，每个有两个输入和一个输出（Y-Net）。第一阶段（AEC）产生回声估计，作为DNN AEC模型的新颖性，第二阶段进一步使用该回声估计来执行RES和噪声抑制。虽然Interspeech 2021 AEC Challenge的主观听力测试大多产生了接近基线的结果，但在挑战组织者提供的仪器度量DECMOS的双重谈话中，所提出的方法在盲测试集上的基线上平均提高了0.46分。
2021-07-18 cs.SD eess.AS
The IOA System for Deep Noise Suppression Challenge using a Framework Combining Dynamic Attention and Recursive Learning
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本技术报告介绍了我们的系统，该系统提交给深度噪声抑制挑战赛，并提出了非实时跟踪的结果。为了逐步改进估计结果，我们利用递归学习，这是一种训练协议，它通过记忆机制通过多个阶段来验证信息。注意力发生器网络被设计成动态地控制降噪网络的特征分布。为了提高相位恢复的精度，我们采取了复谱映射的过程，通过解码的实部和虚部的频谱。对于最终的盲测试集，所提交的系统在noreverb、reverb和realrec类别中的平均MOS改进分别为0.49、0.24和0.36。
2020-05-12 cs.SD eess.AS
ICASSP 2021 Deep Noise Suppression Challenge: Decoupling Magnitude and Phase Optimization with a Two-Stage Deep Network
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在真实的声学环境中，如何恢复被各种噪声污染的语音信号仍然是一个严峻的挑战。为此，我们提出了一种新的系统去噪在复杂的应用，这主要是由两个管道，即一个两级网络和后处理模块。第一流水线被提出用于解耦优化问题w：r：t：幅度和相位，即，在第一阶段中仅估计幅度，并且在第二阶段中进一步细化两者。第二条流水线旨在进一步抑制剩余的不自然的失真噪声，这被证明足以提高主观质量。在ICASSP 2021深度噪声抑制（DNS）挑战赛中，我们提交的系统在ITU-T P.808框架下的平均意见得分（MOS）方面排名第一。
2021-03-01 cs.SD eess.AS
Dual-Signal Transformation LSTM Network for Real-Time Noise Suppression
Carl von Ossietzky University（卡尔·冯·奥西茨基大学）
本文介绍了一种用于实时语音增强的双信号变换LSTM网络（DTLN），作为深度噪声抑制挑战赛（DNS-Challenge）的一部分。这种方法结合了短时傅里叶变换（STFT）和学习的分析和合成的基础上，在堆叠网络的方法与不到一百万个参数。该模型在由挑战组织者提供的500小时的嘈杂语音上进行训练。该网络能够实时处理（一帧输入，一帧输出），并达到有竞争力的结果。结合这两种类型的信号变换，使DTLN鲁棒地从幅度谱中提取信息，并将相位信息从学习的特征基础。该方法显示出最先进的性能，在平均意见得分（MOS）方面，绝对优于DNS挑战基线0.24分。
2020-10-22 cs.SD eess.AS
Multichannel Active Noise Control with Exterior Radiation Suppression Based on Riemannian Optimization
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
针对三维空间ANC应用中次级扬声器外部辐射放大目标区域外噪声的问题，提出基于黎曼优化的频域前馈ANC归一化最小均方算法，可将外部辐射功率约束至目标值，且约束参数可预先确定，性能优于带惩罚项的算法。
2023-06-15 cs.SD eess.AS
ABC-KD: Attention-Based-Compression Knowledge Distillation for Deep Learning-Based Noise Suppression
Microsoft Research Asia（微软亚洲研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对深度噪声抑制模型部署难和训练数据标签难获取的问题，本文提出基于注意力压缩的知识蒸馏方法，并全面评估主流KD技术，所提方法在DNS任务上性能最优。
2023-05-26 cs.SD eess.AS
Effect of Language Proficiency on Subjective Evaluation of Noise Suppression Algorithms
Technische Universität Berlin（柏林工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
基于IP语音技术的语音通信系统经常被目标语言的母语者以及非母语者使用，例如在国际电话呼叫或电话会议中。通常，这样的呼叫也发生在嘈杂的环境中，使得噪声抑制模块对于提高感知的体验质量是必要的。而标准的测试，用于评估感知质量使用的母语听众，我们假设，降噪语音和残余噪音可能会影响母语和非母语的听众的目标语言以不同的方式。为了验证这一假设，我们报告的两个主观测试的结果进行英语和德语母语的听众判断语音样本的质量记录的母语为英语，德语和普通话的扬声器，这是退化与不同的背景噪声水平和噪声抑制效果。这些实验遵循标准化ITU-T Rec. P.835方法进行，但根据ITU-T Rec. P.808在众包环境中实施。我们的研究结果表明，语言对语音信号评级，因此，在特定条件下的整体感知质量的显着影响。
2020-10-26 cs.MM cs.SD eess.AS
Dynamic nsNet2: Efficient Deep Noise Suppression with Early Exiting
GN Audio（GN音频）；Technical University of Denmark（丹麦技术大学）；International University of Rabat（拉巴特国际大学）
针对资源受限设备部署深度噪声抑制模型的难题，提出基于nsNet2的早期退出动态模型，通过拆分信息流适配动态性，可在不同计算阶段停止以实现性能与复杂度的多档权衡。
2023-08-31 cs.LG cs.SD eess.AS
The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Speech Quality and Testing Framework
Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
INTERSPEECH 2020深度噪声抑制挑战赛旨在促进实时单通道语音增强的合作研究，旨在最大限度地提高增强语音的主观（感知）质量。评价噪声抑制方法的一种典型方法是在通过分裂原始数据集获得的测试集上使用客观度量。许多出版物报告了从与训练集相同的分布中得出的合成测试集的合理性能。然而，通常模型性能在真实记录上显著降低。此外，大多数传统的客观指标与主观测试没有很好的相关性，并且实验室主观测试对于大的测试集是不可扩展的。在这项挑战中，我们开源了一个大型的干净语音和噪声语料库，用于训练噪声抑制模型和一个代表性的测试集，用于由合成和真实录音组成的真实场景。我们还开源了一个基于ITU-T P.808的在线主观测试框架，供研究人员快速测试他们的开发。本次挑战赛的获胜者将根据对使用P.808框架的代表性测试集的主观评价进行选择。
2020-04-19 cs.LG cs.SD eess.AS
Performance optimizations on deep noise suppression models
Cornell University（康奈尔大学）；Microsoft Corporation（微软公司）
我们研究了幅度结构修剪作为架构搜索的作用，以加快深度噪声抑制（DNS）模型的推理时间。虽然深度学习方法在提高音频质量方面取得了显著的成功，但其复杂性的增加阻碍了其在实时应用中的部署。我们在基线上实现了高达7.25倍的推理加速，模型性能平稳下降。消融研究表明，我们提出的网络重新参数化（即，每层大小）是加速的主要驱动力，并且幅度结构化修剪不利于直接训练较小大小的模型。我们报告的推理速度，因为参数减少并不需要加速，我们使用一个准确的非侵入性的客观语音质量度量模型的质量。
2021-10-08 cs.LG cs.SD eess.AS
Egocentric Audio-Visual Noise Suppression
Meta
针对第一视角视频中说话人不在画面内的噪声抑制场景，提出结合视觉特征的多任务学习框架，联合优化视听噪声抑制与视频声学事件检测，性能优于纯音频基线。
2023-05-03 cs.CL cs.MM cs.SD
The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Testing Framework, and Challenge Results
Microsoft Corporation（微软公司）
INTERSPEECH 2020深度噪声抑制（DNS）挑战赛旨在促进实时单通道语音增强的合作研究，旨在最大限度地提高增强语音的主观（感知）质量。评价噪声抑制方法的一种典型方法是在通过分裂原始数据集获得的测试集上使用客观度量。虽然在合成测试集上性能良好，但在真实记录上模型性能通常会显着下降。此外，大多数传统的客观指标与主观测试没有很好的相关性，并且实验室主观测试对于大的测试集是不可扩展的。在这项挑战中，我们开源了一个大型的干净语音和噪声语料库，用于训练噪声抑制模型和一个代表性的测试集，用于由合成和真实录音组成的真实场景。我们还开源了一个基于ITU-T P.808的在线主观测试框架，供研究人员可靠地测试其开发。我们使用P.808在盲测集上评估了结果。讨论了挑战的结果和主要经验教训。数据集和脚本可以在这里找到，以便快速访问https://github.com/microsoft/DNS-Challenge。
2020-10-18 cs.LG cs.SD eess.AS
Environment-aware Reconfigurable Noise Suppression
Facebook AR/VR Division（Facebook增强现实/虚拟现实部门）
本文提出了一种有效的，鲁棒的，可重构的技术，以抑制各种类型的噪声，任何采样率。理论分析、主观和客观测试结果表明，本文提出的噪声抑制（NS）方案显著提高了语音传输指数（STI）、语音清晰度（SI）、信噪比（SNR）和主观听觉体验。STI和SI由5个级别组成，即，坏的、差的、一般的、好的和优秀的。最常见的噪声条件是SNR范围为-5至8 dB。对于-5到2.5dB的输入SNR，所提出的NS将STI和SI从“公平”改善到“良好”。对于2.5 ~ 8dB的输入信噪比，该方法可使STI和SI从“良好”提高到“优秀”。建议的NS可以通过在互联网协议语音，语音触发，和自动语音识别应用程序的捕获和回放路径。
2020-01-29 cs.SD eess.AS eess.SP
Interspeech 2021 Deep Noise Suppression Challenge
Microsoft Corporation（微软公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度噪声抑制（DNS）挑战赛旨在促进噪声抑制领域的创新，以实现卓越的感知语音质量。我们最近在INTERSPEECH和ICASSP 2020上组织了DNS挑战特别会议。我们为宽带场景开源了训练和测试数据集。我们还开源了一个基于ITU-T标准P.808的主观评估框架，该框架也用于评估挑战赛的参与者。来自学术界和工业界的许多研究人员为推动该领域的发展做出了重大贡献，但即使是最好的噪声抑制器也远未在具有挑战性的场景中实现卓越的语音质量。在INTERSPEECH 2021举办的这个版本的挑战中，我们正在扩展我们的训练和测试数据集，以适应全波段场景。本次挑战的两个主题将重点关注（i）宽带和（ii）全波段场景的实时去噪。我们还提供了一个可靠的非侵入性的客观语音质量指标，称为DNSMOS，供参与者在开发阶段使用。
2021-04-05 cs.LG cs.SD eess.AS
Machines hear better when they have ears
Gent University（根特大学）
基于深度神经网络（DNN）的噪声抑制系统比传统方法（如谱减法和非负矩阵分解）有显着改进，但不能很好地推广到它们未被训练的噪声条件。与DNN相比，人类表现出显着的噪声抑制能力，在各种不利的收听条件和负信噪比（SNR）下产生成功的语音清晰度。受人类出色表现的启发，本文探讨了模拟人类耳蜗信号处理的数值模型是否可以与DNN相结合，以提高基于DNN的噪声抑制系统的鲁棒性。五个耳蜗模型耦合到完全连接的和经常性的基于NN的噪声抑制系统，并使用客观指标进行训练和评估各种噪声条件：感知语音质量（PESQ），分段SNR和倒谱距离。模拟表明，生物仿生学启发的耳蜗模型提高了基于DNN的噪声抑制系统对不可见噪声和负SNR的泛化能力。因此，这种方法导致对噪声类型和噪声水平不太敏感的鲁棒噪声抑制系统。由于耳蜗模型捕获了外围听觉处理的内在非线性和动态性，因此这里表明，考虑到它们的确定性信号处理，可以提高机器听力并避免多层DNN的过度训练。因此，我们得出结论，当在DNN的输入端使用真实的耳蜗模型时，机器听得更好。
2018-06-05 cs.LG cs.SD eess.AS
End-to-End Complex-Valued Multidilated Convolutional Neural Network for Joint Acoustic Echo Cancellation and Noise Suppression
Alibaba Group（阿里巴巴集团）
回波和噪声抑制是全双工通信系统的组成部分。许多最近的声学回声消除（AEC）系统依赖于用于线性回声抑制的单独的自适应滤波模块和用于残余回声抑制的神经模块。然而，不仅自适应滤波模块需要收敛并保持对声学环境中的变化敏感，而且当神经模块已经能够进行线性和非线性回声抑制时，这种两阶段框架还经常向AEC系统引入不必要的延迟。在本文中，我们利用偏移补偿能力的复杂的时间-频率掩模，并提出了一个端到端的复值神经网络架构。所提出的模型的构建块是基于密集连接的多扩张DenseNet（D3 Net）构建块的伪复杂扩展，导致只有354 K参数的非常小的网络。该架构利用了D3 Net构建块的多分辨率特性，消除了对池化的需求，允许网络使用大的感受野提取特征，而不会损失任何输出分辨率。我们还提出了一种双掩模技术的联合回声和噪声抑制与同时语音增强。对合成和真实测试集的评估表明，在多个基于能量的指标和感知代理上都有很好的结果。
2022-01-22 cs.AI cs.LG cs.SD
EarResp-ANS : Audio-Based On-Device Respiration Rate Estimation on Earphones with Adaptive Noise Suppression
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
EarResp-ANS通过自适应噪声抑制技术，在耳phones上实现低功耗、实时呼吸率估计，无需神经网络或音频流，适用于日常环境中的无感监测。
2026-02-03 cs.HC cs.SD
Deep AHS: A Deep Learning Approach to Acoustic Howling Suppression
Tencent AI Lab（腾讯人工智能实验室）
该研究将声学啸叫抑制建模为监督学习任务，提出基于注意力 RNN 和教师强制训练的 Deep AHS，可在实时流式场景中无需检测即可从根本上抑制啸叫。
2023-08-17 cs.SD eess.AS
ICASSP 2021 Deep Noise Suppression Challenge
深度噪声抑制（DNS）挑战赛旨在促进噪声抑制领域的创新，以实现卓越的感知语音质量。我们最近在INTERSPEECH 2020上组织了DNS挑战特别会议。我们为研究人员开放了训练和测试数据集，以训练他们的噪声抑制模型。我们还开源了一个主观评估框架，并使用该工具来评估和挑选最终的获奖者。来自学术界和工业界的许多研究人员为推动该领域的发展做出了重大贡献。我们还了解到，作为一个研究社区，我们仍然有很长的路要走，在具有挑战性的嘈杂实时条件下实现卓越的语音质量。在这个挑战中，我们正在扩展我们的训练和测试数据集。有两个轨道，一个专注于实时去噪，另一个专注于实时个性化深度噪声抑制。我们还提供了一个非侵入性的客观语音质量指标DNSMOS，供参与者在开发阶段使用。最终的评估将基于主观测试。
2020-10-26 eess.AS
Deep Residual Echo Suppression and Noise Reduction: A Multi-Input FCRN Approach in a Hybrid Speech Enhancement System
基于深度神经网络（DNN）的声学回声消除（AEC）和混合语音增强系统的方法最近获得了越来越多的关注，为该研究领域带来了显着的性能改进。使用全卷积递归网络（FCRN）架构，这是最先进的拓扑结构中的降噪，我们提出了一种新的深度残留回声抑制和降噪与多达四个输入信号的一部分的混合语音增强系统与线性频域自适应卡尔曼滤波器AEC。在一项广泛的消融研究中，我们揭示了回声抑制、降噪和近端语音质量方面的权衡，并为FCRN输入的选择提供了令人惊讶的见解：与此任务中常见的输入组合相比，我们建议不使用扬声器参考信号，而是使用AEC后的增强信号、麦克风信号和回声估计，产生超过0.2 PESQ点的先前方法的改进。
2022-03-23 eess.AS
Deep Residual Echo Suppression with A Tunable Tradeoff Between Signal Distortion and Echo Suppression
Technion -- Israel Institute of Technology（以色列理工学院）
在本文中，我们提出了一种残余回声抑制方法，使用UNet神经网络，直接映射的线性声学回声消除器的输出到期望的信号在谱域中。该系统嵌入了一个设计参数，允许一个可调的折衷之间的期望信号失真和残留回波抑制在双通话的情况。该系统采用13.6万个参数，每秒需要1.6千兆浮点运算和10兆字节的内存。该实现既满足AEC挑战的时序要求，又满足设备上应用的计算和内存限制。实验使用来自AEC挑战数据库和真实独立记录的161 h数据进行。我们证明了所提出的系统在现实生活中的条件下的性能，并比较它与两个竞争的方法，回波抑制和所需的信号失真，推广到各种环境中，和高回声水平的鲁棒性。
2021-06-25 cs.LG cs.SD eess.AS
Deep Noise Suppression With Non-Intrusive PESQNet Supervision Enabling the Use of Real Training Data
采用深度神经网络（DNN）的数据驱动的语音增强即使在存在非平稳噪声的情况下也可以提供最先进的性能。在训练过程中，大多数语音增强神经网络都是以完全监督的方式进行训练的，损失需要由干净的语音和加性噪声合成带噪语音。然而，在实际的实现中，只有嘈杂的语音混合物是可用的，这导致了这样的数据如何能够有利地用于训练的问题。在这项工作中，我们提出了一个端到端的非侵入性PESQNet DNN，它估计语音质量的感知评估（PESQ）分数，允许真实数据的无参考损失。作为进一步的新颖性，我们将PESQNet损失与去噪和去混响损失项相结合，并以“弱”监督的方式训练一个复杂的基于掩码的全卷积递归神经网络（FCRN），每个训练周期采用一些合成数据，一些真实数据，再合成数据，以保持PESQNet最新。在主观听力测试中，我们提出的框架比Interspeech 2021深度噪声抑制（DNS）挑战基线整体高出0.09 MOS点，特别是0.45背景噪声MOS点。
2021-03-31 eess.AS
Kernel-interpolation-based spatial active noise control with exterior radiation suppression
提出两种基于声场核插值的空间有源噪声控制方法，通过最小化内部声势能与外部辐射功率之和或施加不等式约束，在降低目标区域噪声的同时抑制外部辐射。
2023-03-31 eess.AS
Ultra Low Complexity Deep Learning Based Noise Suppression
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
本文提出一种两阶段框架并结合通道级特征重定向与改进幂律压缩，在资源受限设备上以3-4倍更低计算和内存实现与最先进方法相当的语音增强噪声抑制性能。
2023-12-13 cs.LG eess.AS eess.SP
Data augmentation and loss normalization for deep noise suppression
使用神经网络的语音增强最近在研究中受到极大关注，并且被集成到商业设备和应用中。在这项工作中，我们研究了基于监督深度学习的语音增强的数据增强技术。我们表明，不仅将SNR值增加到更宽的范围和连续分布有助于正则化训练，而且还增加了频谱和动态水平的多样性。然而，为了不通过水平增强来降低训练，我们提出了通过应用序列水平归一化来修改基于信号的损失函数。我们在实验中表明，这种规范化克服了训练不平衡的信号水平的序列时，使用水平相关的损失函数造成的退化。
2020-09-24 eess.AS
Noise Suppression for Time Difference of Arrival: Performance Evaluation of a Generalized Cross-Correlation Method Using Mean Signal and Inverse Filter
本文提出GCC-MSIF方法，通过引入均值信号和逆滤波器，提升低信噪比环境下时差估计的鲁棒性和准确性。
2025-12-05 eess.AS eess.SP
