Speech dereverberation constrained on room impulse response characteristics
Telecom Paris, Institut polytechnique de Paris（巴黎理工学院电信学院）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
针对现有深度学习语音去混响方法缺乏房间声学可解释性的问题，提出用物理一致性损失正则化训练，使输出诱导的RIR匹配房间声学特性，兼顾去混响效果与物理一致性。
2024-07-10 cs.SD eess.AS eess.SP
Controllable Multichannel Speech Dereverberation based on Deep Neural Networks
Alibaba Group（阿里巴巴集团）
基于神经网络的语音去混响在近年来的研究中取得了可喜的成果。然而，许多人专注于恢复的直接路径声音和早期的反射，这可能是有益的语音感知，被丢弃。当对早期混响目标进行评估时，经过训练以恢复干净语音的模型的性能会下降，反之亦然。提出了一种基于深度神经网络的多通道语音去混响算法，该算法的去混响水平是可控的。这是通过添加一个简单的浮点数作为模型的目标控制器来实现的。使用空间分布的麦克风进行实验，并在各种模拟条件下证实了所提出的算法的有效性。
2021-10-16 cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
A Hybrid Model for Weakly-Supervised Speech Dereverberation
针对现有语音去混响算法依赖难获取的干/湿配对数据或目标指标存在局限的问题，提出利用混响时间（RT60）等有限声学信息训练去混响系统，通过混响匹配损失优化，在多客观指标上实现比现有最优方法更一致的性能。
2025-02-06 cs.AI cs.SD eess.AS
Multi-Microphone Complex Spectral Mapping for Speech Dereverberation
The Ohio State University（俄亥俄州立大学）；Center for Cognitive and Brain Sciences, The Ohio State University（俄亥俄州立大学认知与脑科学中心）
本文提出了一种基于多麦克风复谱映射的固定阵列语音去混响方法。在所提出的方法中，训练深度神经网络（DNN）以从多个麦克风的堆叠混响（和噪声）RI分量预测直达声的实部和虚部（RI）分量。我们还研究了多麦克风复频谱映射与波束形成和后滤波的集成。多通道语音去混响实验结果表明了该方法的有效性。
2020-03-04 cs.SD eess.AS
Dereverberation using joint estimation of dry speech signal and acoustic system
Spotify, S.A.（Spotify公司）
语音去混响的目的是从信号中去除时不变脉冲响应滤波器的质量降低效应。在这份报告中，我们描述了一种方法，语音去混响，涉及联合估计的干语音信号和房间的脉冲响应。我们将探索分别应用于每个任务的深度学习模型，以及如何将这些模型组合到具有共享参数的联合模型中。
2020-07-24 cs.LG cs.SD eess.AS
Speech Dereverberation with a Reverberation Time Shortening Target
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Zhejiang University（浙江大学）
提出基于混响时间缩短（RTS）的语音去混响学习目标，保留混响指数衰减特性以降低训练难度和信号失真，并将FullSubNet适配用于去混响，实验验证其优于传统目标。
2023-06-06 cs.SD eess.AS
A Composite T60 Regression and Classification Approach for Speech Dereverberation
Indiana University（印第安纳大学）；The Ohio State University（俄亥俄州立大学）
通常直接对混响音频信号执行去混响，而不知道声学环境。然而，混响时间T60是反映混响如何影响信号的基本声学因素。在这项工作中，我们建议在利用环境中的关键声学信息的同时执行去混响。更具体地说，我们开发了一种联合学习方法，该方法使用复合T60模块和单独的去混响模块来同时执行混响时间估计和去混响。混响时间模块在微调期间为去混响模块提供关键特征。我们评估我们的方法在模拟和真实的环境中，并与几种方法进行比较。结果表明，这种复合框架提高了环境中的性能。
2023-02-09 cs.SD eess.AS
Deep Learning Based Dereverberation of Temporal Envelopesfor Robust Speech Recognition
Indian Institute of Science（印度科学学院）；Learning and Extraction of Acoustic Patterns (LEAP) lab（声学模式学习与提取实验室（LEAP实验室））
混响条件下的自动语音识别是一项具有挑战性的任务，因为混响语音的长期包络在时间上是模糊的。在本文中，我们提出了一个神经模型的增强子带的时间包络去混响的语音。时域包络是使用频域线性预测（FDLP）的自回归建模框架导出的。本文提出的神经增强模型是一种基于包络增益的时域包络增强模型，它由一系列卷积和递归神经网络层组成。增强的子带包络用于生成用于自动语音识别（ASR）的特征。ASR实验在REVERB挑战数据集以及CHiME-3数据集上进行。在这些实验中，所提出的神经增强方法相对于具有波束成形音频的基线ASR系统提供了显著的改进（在REVERB挑战数据集的单词错误率方面，开发集的平均相对改进为21%，评估集的平均相对改进为约11%）。
2020-08-07 cs.SD eess.AS eess.SP
Distributed Speech Dereverberation Using Weighted Prediction Error
Northwestern Polytechnical University（西北工业大学）
针对分散麦克风节点下集中式WPE计算负担重的问题，本文在MCLP中引入DANSE算法，提出低复杂度分布式语音去混响方法，使各节点局部处理并通过协作达到全局性能。
2023-12-05 cs.SD eess.AS
To Dereverb Or Not to Dereverb? Perceptual Studies On Real-Time Dereverberation Targets
Amazon Web Services（亚马逊云科技）
在现实生活中，房间效应，也称为房间混响，以及当前的背景噪声降低了语音质量。最近，基于深度学习的语音增强方法已经显示出很大的前景，并超过了传统的去噪和去混响方法。人们也已经确定，这些最先进的去噪算法显着提高了人类听众感知的语音质量。但是，去混响对主观（感知）语音质量的作用，以及由去混响引入的附加伪影是否弊大于利仍然不清楚。在本文中，我们试图回答这些问题，通过评估一个国家的最先进的语音增强系统在一个综合的主观评价研究不同的选择去混响目标。
2022-06-16 cs.SD eess.AS
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
我们研究了生成对抗网络（GANs）在语音去混响中的使用，以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声，但是仍然缺乏研究它们在语音去混响中的能力的工作，并且使用GANs的优点还没有完全建立。在本文中，我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先，我们研究了不同去混响网络（GAN中的生成器）的有效性，并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次，在深层LSTM中进一步添加剩余连接也可以提高性能。最后，我们发现，对于GAN的成功，重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外，使用混响声谱图作为一个条件，在以前的研究中建议，可能会降低性能。总之，当在强多条件训练声学模型上进行测试时，与基线DNN去混响网络相比，我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
Integrating Plug-and-Play Data Priors with Weighted Prediction Error for Speech Dereverberation
Northwestern Polytechnical University（西北工业大学）
本文提出在加权预测误差去混响框架中引入即插即用去噪正则化策略，利用数据驱动的语音先验提升复杂噪声环境下的去混响性能与鲁棒性。
2023-12-05 cs.SD eess.AS
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London（帝国理工学院）
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法，对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法，执行盲联合去噪和去混响，同时考虑帧间语音动态，通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比（DRR）的混响参数的信号模型，并且还估计和跟踪每个频率仓中的$T_{60}$和DRR，以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量，语音清晰度和混响性能的混响参数和信噪比的范围内，在不同的噪声类型，也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation（NTT（日本电报电话公司）媒体情报研究所）
提出了一种视听语音分离学习方法，该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练，纯音频损失反映了源信号与分离信号之间的距离。然而，传统的损失不能反映语音信号的特征，包括说话者的特征和语音信息，这导致失真或残留噪声。为了解决这个问题，我们提出了跨模态对应（CMC）损失，这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响，并且包含说话人和语音信息，因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明，该方法在CMC损失的基础上学习同现，提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Complex-Valued Time-Frequency Self-Attention for Speech Dereverberation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
当深度复杂神经网络（DCNN）与自注意（SA）网络相结合时，几个语音处理系统已经表现出相当大的性能改进。然而，大多数基于DCNN的语音去混响研究采用自我注意力，并没有明确考虑到计算注意力时真实和想象特征之间的相互依赖性。在这项研究中，我们提出了一个复值T-F注意（TFA）模块，通过计算跨时间和频率维度的二维注意图来建模频谱和时间依赖性。我们使用REVERB挑战语料库验证了我们提出的复值TFA模块与深度复卷积递归网络（DCCRN）的有效性。实验结果表明，将我们的复杂的TFA模块与DCCRN集成，提高了整体语音质量和性能的后端语音应用程序，如自动语音识别，与早期的自我注意的方法相比。
2022-11-22 cs.LG cs.SD eess.AS
End-to-End Far-Field Speech Recognition with Unified Dereverberation and Beamforming
Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管端到端方法在多通道语音识别中得到了成功的应用，但当语音被混响破坏时，识别性能仍然会严重下降。在本文中，我们将去混响模块集成到端到端的多通道语音识别系统中，并探讨了两种不同的前端架构。首先，多源掩模为基础的加权预测误差（WPE）模块被纳入前端去混响。其次，提出了另一种新的前端架构，它扩展了加权功率最小化无失真响应（WPD）卷积波束形成器，以执行同时分离和去混响。我们推导出一个新的配方从原来的WPD，它可以处理多源输入，并取代特征值分解与矩阵求逆运算，使反向传播算法更稳定。以上两种架构都是以完全端到端的方式进行优化的，只使用了语音识别标准。在空间化wsj 1 - 2 mix语料库和REVERB上的实验表明，该模型在混响场景下的性能优于传统方法。
2020-10-27 cs.SD eess.AS
Joint Online Multichannel Acoustic Echo Cancellation, Speech Dereverberation and Source Separation
Alibaba Group（阿里巴巴集团）
本文提出了一种联合声源分离算法，同时减少声回波，混响和干扰源。通过最大化相对于其他源的独立性，将目标语音从混合物中分离出来。结果表明，分离过程可分解为回声消除、语音去混响和声源分离等子过程，这些子过程均采用基于辅助函数的独立分量/向量分析技术求解，且求解顺序可互换。级联的解决方案不仅导致较低的计算复杂性，但比香草联合算法有更好的分离性能。
2021-04-09 cs.SD eess.AS
Speech Dereverberation and Noise Reduction for both diffusive noise field and point noise source in Binaural Hearing Aids: Preliminary Version
Federal University of Technology – Paraná（巴拉那联邦技术大学）；Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
多通道维纳滤波器（MWF）及其变体已广泛应用于双耳助听器。然而，它的主要缺点是残余噪声的双耳线索的失真，改变了原始的声学场景，这对于听力受损的人来说是至关重要的。MWF-IC方法先前被提出用于联合语音去混响和降噪，保留扩散噪声场的耳间相干性（IC）。在这项工作中，我们提出了一个新的变化的MWF-IC的语音去混响和降噪，它保留了原始的空间特性的残留噪声的扩散场或点源。客观的测量和初步的心理声学实验表明，该方法是能够在感知上保持这两种类型的噪声的原始空间化，而没有显着的性能损失，在两个语音去混响和降噪。
2019-11-09 cs.SD eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
RVAE-EM: Generative speech dereverberation based on recurrent variational auto-encoder and convolutive transfer function
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出基于RVAE和CTF的生成式语音去混响方法，通过EM算法实现MAP估计，在单声道实验中优于判别式网络。
2023-10-17 cs.SD eess.AS
DESNet: A Multi-channel Network for Simultaneous Speech Dereverberation, Enhancement and Separation
Northwestern Polytechnical University（西北工业大学）；Microsoft（微软）
在本文中，我们提出了一个多通道网络的同时语音去混响，增强和分离（DESNet）。为了实现梯度传播和联合优化，我们采用了多通道特征的注意力选择机制，该机制最初是在端到端解混、固定波束成形和提取（E2 E-UFE）结构中提出的。此外，新的深度复杂卷积递归网络（DCCRN）被用作语音解混的结构和基于神经网络的加权预测误差（WPE）的语音去混响预先级联。为了进一步提高网络的性能，我们还引入了分阶段的信噪比策略和交响损失的训练。实验结果表明，在非去混响情况下，DESNet的语音增强和分离性能优于DCCRN和大多数最先进的结构，而在去混响情况下，DESNet也优于级联的WPE-DCCRN网络。
2020-11-14 cs.SD eess.AS
Joint Acoustic Echo Cancellation and Speech Dereverberation Using Kalman filters
提出了一种短时傅里叶变换域的回声消除和语音去混响联合算法。混响麦克风信号使用自回归（AR）模型来描述。AR系数和麦克风扬声器到麦克风的声学传递函数（ATF）被认为是时变的，并同时使用一阶马尔可夫过程建模。这导致了一种解决方案，其中这些参数可以使用卡尔曼滤波器进行最佳估计。仿真结果表明，该算法在语音质量和回声抑制性能方面均优于传统的AEC和DR算法以及基于半盲声源分离的联合DRAEC算法。
2023-02-09 cs.SD eess.AS
AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation
SCB 10X, SCBX Group（SCB 10X、SCBX集团）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）
本文系统研究大型音频模型作为评判器（AudioJudge），提出音频拼接结合上下文学习及多维度集成方法，在语音评估中实现与人类偏好最高0.91的Spearman相关性，并揭示其冗长性和位置偏差问题。
2025-07-17 cs.CL cs.SD eess.AS
Speech Dereverberation Based on Integrated Deep and Ensemble Learning Algorithm
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Southern University of Science and Technology（南方科技大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）；National Taiwan University（台湾大学）
混响通常由墙壁、天花板和地板的声音反射引起，可导致声学应用的严重性能下降。由于衰减和时延效应的复杂组合，混响特性难以表征，并且有效地从混响信号中恢复消声语音信号仍然是一个具有挑战性的任务。在本研究中，我们提出了一种新的集成深度和集成学习算法（IDEA）的语音去混响。IDEA包括离线和在线阶段。在离线阶段，我们训练多个去混响模型，每个模型的目标是在特定的声学环境中精确地去混响语音信号，然后估计一个统一的融合函数，旨在整合多个去混响模型的信息。在在线阶段，输入话语首先由每个去混响模型处理。所有模型的输出被相应地积分以产生最终的消声信号。我们评估了设计的声学环境，包括匹配和不匹配的条件下的训练和测试数据的IDEA。实验结果表明，在模型结构和训练数据相同的情况下，IDEA去混响效果优于单一的基于深度神经网络的去混响模型。
2018-02-17 cs.SD eess.AS
Receptive Field Analysis of Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield（谢菲尔德大学）
语音去混响通常是鲁棒语音处理任务中的重要要求。有监督的深度学习（DL）模型为单通道语音去混响提供了最先进的性能。时间卷积网络（TCN）通常用于语音增强任务中的序列建模。TCN的一个特征是它们具有依赖于特定模型配置的感受野（RF），该模型配置确定可以被观察以产生单个输出帧的输入帧的数量。它已被证明，TCN是能够执行去混响的模拟语音数据，然而，一个彻底的分析，特别是与RF的重点还缺乏在文献中。本文分析了TCN的模型尺寸和RF对混响抑制性能的影响。实验使用WHAMR语料库，扩展到包括房间脉冲响应（RIR）与较大的T60值表明，一个较大的RF可以有显着的改善性能时，训练较小的TCN模型。它还表明，TCN受益于更广泛的RF时，去混响RIR与较大的RT60值。
2022-07-01 cs.LG cs.SD eess.AS
End-to-End Integration of Speech Recognition, Dereverberation, Beamforming, and Self-Supervised Learning Representation
Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）；Università Politecnica delle Marche（马尔凯理工大学）
自监督学习表示（SSLR）在自动语音识别（ASR）中已经证明了其显著的有效性，主要是对干净语音。最近的工作指出了在噪声环境中将SSLR与用于ASR的单通道语音增强相结合的优势。本文通过处理多通道输入进一步推进了这种集成。我们提出了一种新的端到端的架构，集成混响，波束成形，SSLR，和ASR在一个单一的神经网络。我们的系统实现了最好的性能，在文献中报道的CHiME-4 6通道轨道的字出错率（WER）为1.77%。虽然基于WavLM的强SSLR本身表现出了令人鼓舞的结果，但与加权功率最小化无失真响应波束形成器的端到端集成（同时执行去混响和去噪）显着提高了WER。其有效性也在REVERB数据集上得到了验证。
2022-10-19 cs.SD eess.AS
AdVerb: Visually Guided Audio Dereverberation
University of Maryland, College Park（马里兰大学帕克分校）；Mila（米拉魁北克人工智能研究院）；Université de Montréal（蒙特利尔大学）
该研究提出音视频去混响框架AdVerb，借助几何感知跨模态Transformer利用环境视觉信息生成掩模实现去混响，在多个下游任务及数据集上效果显著优于基线方法。
2023-08-23 cs.CV cs.MM cs.SD
Single-channel Speech Dereverberation via Generative Adversarial Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种基于卷积、双向长短期记忆和深度前馈神经网络（CBLDNN）的单通道语音去混响系统（DeReGAT）。为了获得更好的语音质量，而不是仅仅最小化均方误差（MSE），GAT被用来使去混响语音与干净样本不可区分。此外，我们的系统可以处理大范围的混响，并能很好地适应不同的环境。实验结果表明，该模型优于加权预测误差（WPE）和基于深度神经网络的系统。此外，DeReGAT扩展到一个在线语音去混响的情况下，报告与离线的情况下相当的性能。
2018-06-25 cs.CL cs.SD eess.AS
TeCANet: Temporal-Contextual Attention Network for Environment-Aware Speech Dereverberation
Tencent AI Lab（腾讯AI实验室）
在本文中，我们探索有效的方法来利用上下文信息，以提高在现实世界的混响环境中的语音去混响性能。提出了一种基于深度神经网络的时间-上下文注意方法，用于环境感知语音去混响，该方法可以自适应地注意上下文信息。更具体地说，提出了一种基于全频带的时间注意力方法（FTA），该方法对上下文帧的全频带信息之间的相关性进行建模。此外，考虑到房间脉冲响应（RIR）中高频段和低频段衰减的差异（高频段衰减快于低频段），本文还提出了一种基于子带的时间注意力方法（STA）。为了引导网络更加了解混响环境，我们以多任务的方式联合优化去混响网络和混响时间（RT 60）估计器。我们的实验结果表明，该方法优于我们以前提出的混响时间感知DNN和学习的注意力权重是完全物理一致的。我们还报告了一个初步的，但有前途的去混响和识别实验的真实测试数据。
2021-08-26 cs.SD eess.AS
Blind Speech Separation and Dereverberation using Neural Beamforming
Graz University of Technology（格拉茨技术大学）
在本文中，我们提出了盲语音分离和去混响（BSSD）网络，它同时执行说话人分离，去混响和说话人辨识在一个单一的神经网络。说话人分离是由一组预定义的空间线索。利用神经波束形成进行混响消除，并通过嵌入向量和三元组挖掘辅助说话人辨识。我们介绍了一个频领域模型，它使用复值神经网络，和一个时域变量，执行波束形成的潜在空间。此外，我们提出了一个块在线模式来处理较长的音频记录，因为它们发生在会议场景中。我们评估我们的系统在尺度无关的信号失真比（SI-SDR），字出错率（WER）和相等的出错率（EER）。
2021-11-05 cs.LG cs.SD eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University（西安交通大学）
本文提出AVSepChain，将音视频目标语音提取分为语音感知与生成两阶段，通过交换音视频模态主导地位并引入对比语义匹配损失，缓解模态不平衡，在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
SkipConvNet: Skip Convolutional Neural Network for Speech Dereverberation using Optimally Smoothed Spectral Mapping
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；JD AI Research, JD.com（京东集团京东人工智能研究院）
最近的研究在许多语音应用中已经成功地证明了使用全卷积网络（FCN）的可靠性。这些FCNs最流行的变体之一是“U-Net”，这是一种具有跳过连接的编码器-解码器网络。在这项研究中，我们提出了“SkipConvNet”，其中我们用多个卷积模块替换每个跳过连接，为解码器提供直观的特征图，而不是编码器的输出，以提高网络的学习能力。我们还建议使用功率谱密度（PSD）的最佳平滑作为预处理步骤，这有助于进一步提高网络的效率。为了评估我们提出的系统，我们使用REVERB挑战语料库，以评估在相同条件下的各种增强方法的性能。我们专注于监测语音质量的改善及其对提高后端语音系统效率的贡献，例如仅在干净语音上训练的语音识别和说话人验证。实验结果表明，该系统始终优于其他方法。
2020-07-17 cs.SD eess.AS eess.SP
USDnet: Unsupervised Speech Dereverberation via Neural Forward Filtering
针对单说话人多麦克风混响场景，提出无监督语音去混响网络USDnet，利用多麦克风信号作为约束，结合神经前向滤波正则化网络输出，实现单源混响语音的无监督去混响。
2024-08-13 eess.AS eess.SP
Uformer: A Unet based dilated complex & real dual-path conformer network for simultaneous speech enhancement and dereverberation
Northwestern Polytechnical University（西北工业大学）；Sogou Inc.（搜狗公司）
复频谱和幅度被认为是语音增强和去混响的两个主要特征。传统的方法总是将这两个特征分开处理，忽略了它们之间的内在联系。本文提出了Uformer，一种基于Unet的复-实双径扩张保形网络，用于同时进行语音增强和混响消除。我们利用时间注意力（TA）和扩张卷积（DC）来利用局部和全局上下文信息和频率注意力（FA）来建模维度信息。这三个子模块组成的扩展复实双径一致器模块有效地提高了语音增强和去混响性能。此外，采用混合编码器和解码器，同时对复频谱和幅度进行建模，促进两个域之间的信息交互。编码器/解码器的注意力也被应用于增强编码器和解码器之间的交互。我们的实验结果优于所有的SOTA时间和复杂的域模型客观和主观。具体而言，Uformer在Interspeech 2021 DNS Challenge的盲测集上达到3.6032 DNSMOS，优于所有表现最好的模型。我们还进行了烧蚀实验，梳理除了所有提出的子模块是最重要的。
2022-05-05 cs.SD eess.AS
Speech Dereverberation Using Fully Convolutional Networks
Bar-Ilan University（巴伊兰大学）
本文讨论了使用单个麦克风的语音derverberation。最近的成功的全卷积网络（FCN）在许多图像处理应用的动机，我们调查他们的适用性，以增强语音信号表示的短时傅里叶变换（STFT）的图像。我们提出两种变化：一个“U-Net”，它是一个具有跳跃连接的编码器-解码器网络，以及一个具有U-Net作为生成器的生成对抗网络（GAN），它产生了一个更直观的代价函数用于训练。为了评估我们的方法，我们使用了来自REVERB挑战的数据，并将我们的结果与相同条件下的其他方法进行了比较。我们已经发现，我们的方法优于竞争的方法在大多数情况下。
2019-04-03 cs.SD eess.AS
Translate Reverberated Speech to Anechoic Ones: Speech Dereverberation with BERT
University of Maryland, College Park（马里兰大学帕克分校）
单通道语音去混响被认为是在这项工作中。受Transformers双向编码器表示（BERT）模型在自然语言处理（NLP）领域的成功启发，研究了它作为骨干序列模型对混响语音信号增强的适用性。我们提出了一个基本的BERT模型的变化：一个前序列网络，它提取本地的频谱时间信息和/或提供顺序信息，在骨干序列模型。此外，我们使用预训练的神经声码器进行隐式相位重建。为了评估我们的方法，我们使用了第三次CHiME挑战的数据，并将我们的结果与其他方法进行了比较。实验表明，该方法优于传统的方法WPE，并达到与最先进的BLSTM序列模型的性能相当。
2020-07-16 cs.CL cs.LG cs.SD
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
BERT for Joint Multichannel Speech Dereverberation with Spatial-aware Tasks
University of Maryland, College Park（马里兰大学帕克分校）
提出了一种联合多通道语音去混响的方法，该方法具有两个空间感知任务：到达方向（DOA）估计和语音分离。所提出的方法将所涉及的任务作为序列到序列映射问题来处理，这对于各种前端语音增强任务来说是足够通用的。所提出的方法的灵感来自优秀的序列建模能力的双向编码器表示从Transformers（BERT）。我们不是以自我监督的方式利用来自预训练的显式表示，而是以监督的方式利用Transformer编码的隐藏表示。对不同长度话语的多通道频谱幅度和频谱相位信息进行编码。实验结果证明了该方法的有效性。
2020-10-22 cs.CL cs.LG cs.SD
Speech Dereverberation with Context-aware Recurrent Neural Networks
在本文中，我们提出了一个模型来执行语音去混响估计其频谱幅度从混响对应。我们的模型能够通过卷积编码器（从帧的短、有界上下文中提取特征）和用于提取长期信息的递归神经网络来提取考虑信号中的短期和长期依赖性的特征。我们的模型优于最近提出的模型，该模型根据混响时间使用不同的上下文信息，而不需要任何类型的额外输入，相对于混响语音，PESQ提高了0.4，STOI提高了0.3，POLQA提高了1.0。我们还证明了我们的模型能够推广到真实的房间脉冲响应，即使只使用模拟的房间脉冲响应，不同的扬声器和高混响时间进行训练。最后，听觉测试表明，所提出的方法优于基准模型在减少感知混响。
2017-11-16 cs.SD eess.AS
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境，利用一定量的训练语音数据的混响环境，和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换，我们将房间诱导卷积转换为对数谱域中的加法。接下来，我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间，该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
End-to-End Dereverberation, Beamforming, and Speech Recognition with Improved Numerical Stability and Advanced Frontend
MoE Key Lab of Artificial Intelligence, AI Institute, SpeechLab, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室、人工智能研究院、语音实验室）；Paderborn University（帕德博恩大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；NTT Corporation（日本电信电话株式会社）
最近，端到端的方法已成功地应用于单通道和多通道条件下的多说话人语音分离和识别。然而，严重的性能退化仍然观察到在混响和噪声的情况下，仍然有一个很大的性能差距之间的消声和混响条件。在这项工作中，我们专注于多通道多扬声器混响条件，并建议扩展我们以前的框架，用于端到端去混响，波束成形和语音识别，具有改进的数值稳定性和先进的前端子网络，包括语音活动检测，如面具。这些技术显著稳定了端到端的培训过程。在空间化wsj 1 - 2 mix语料库上的实验表明，与传统的多通道E2 E语音识别系统相比，该系统的WER相对降低了约35%，并且在混响多说话人条件下，仅使用ASR标准进行训练时，也获得了不错的语音去混响和分离性能（SDR=12.5 dB）。
2021-02-23 cs.SD eess.AS
Joint Multi-Channel Dereverberation and Noise Reduction Using a Unified Convolutional Beamformer With Sparse Priors
University of Oldenburg（奥尔登堡大学）
近年来，卷积加权功率最小化无失真响应（WPD）波束形成器被提出，它将多通道加权预测误差去混响和最小功率无失真响应波束形成相结合。为了优化卷积滤波器，利用时变高斯模型对期望的语音分量进行建模，与有噪声的麦克风信号相比，该时变高斯模型促进了期望的语音分量在短时傅里叶变换域中的稀疏性。在本文中，我们推广的卷积WPD波束形成器，通过使用lp-范数代价函数，引入一个可调的形状参数，使控制所需的语音分量的稀疏性。基于REVERB挑战数据集的实验表明，该方法在客观语音质量指标方面优于传统的卷积WPD波束形成器。
2023-03-13 cs.SD eess.AS
Phase-aware Single-stage Speech Denoising and Dereverberation with U-Net
Seoul National University（首尔大学）；Supertone Inc.（Supertone公司）
在这项工作中，我们解决了一个去噪和去混响的问题与单级框架。尽管去噪和去混响可能被认为是两个独立的挑战性任务，因此每个任务通常需要两个模块，但我们证明了可以共享一个深度网络来解决这两个问题。为此，我们提出了一种新的掩蔽方法，称为相位感知β-S形掩模（PHM），它重用估计的幅度值来估计干净的相位，通过尊重三个信号分量之间的三角不等式，如混合，源和其余的复域。两个PHM用于处理直接和混响源，这允许在推理时控制增强语音中混响的比例。此外，为了提高语音增强的性能，我们提出了一个新的时域损失函数，并显示了一个合理的性能增益相比，在复杂的域中的MSE损失。最后，为了实现实时推理，提出了一种U-Net的优化策略，与朴素版本相比，该策略显着减少了计算开销，最高可达88.9%。
2020-06-01 cs.SD eess.AS
EARS: An Anechoic Fullband Speech Dataset Benchmarked for Speech Enhancement and Dereverberation
Universität Hamburg（汉堡大学）；Meta；Carnegie Mellon University（卡内基梅隆大学）
本文发布含107位说话人、100小时消声语音的 EARS 数据集，覆盖多样说话风格，并对语音增强与去混响方法进行客观指标、听辨测试及盲测在线评估。
2024-06-11 cs.LG cs.SD eess.AS
Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments
Advanced Bionics（先进仿生公司）
本文提出了一种基于加权预测误差（WPE）的卡尔曼滤波算法的神经网络增强抗噪在线去混响算法。滤波器随机变化由深度神经网络（DNN）使用滤波器残差和信号特征进行端到端训练来预测。所提出的框架允许在类似于WHAMR！的单通道噪声混响数据集上进行鲁棒的去混响。如果目标语音功率谱密度不是完全已知的并且观测是有噪声的，则卡尔曼滤波WPE在仅从残余误差预测滤波器变化时在增强信号中引入失真。所提出的方法通过以数据驱动的方式校正滤波器变化估计来避免这些失真，从而增加该方法对噪声场景的鲁棒性。此外，与WPE的DNN支持的递归最小二乘变体相比，它产生了强大的去混响和去噪性能，特别是对于高噪声输入。
2022-06-23 cs.LG cs.SD eess.AS
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种方法来估计卷积波束形成器，可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差（WPE）方法的去混响的应用，然后基于最小方差无失真响应（MVDR）波束形成器的去噪，传统上被认为是有前途的方法，然而，不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成，我们提出了一种方法，该方法将WPE去混响方法和MVDR波束形成器的变体，即最小功率无失真响应（MPDR）波束形成器，合并为单个卷积波束形成器，并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应（WPD）波束形成器。实验结果表明，该方法在客观语音增强指标和自动语音识别（ASR）性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab（腾讯AI实验室）
本文旨在消除干扰说话人的语音，加性噪声，混响从嘈杂的多说话人的语音混合，有利于自动语音识别（ASR）后端。虽然最近提出的加权功率最小化无失真响应（WPD）波束形成器可以同时执行分离和去混响，但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”，通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失，包括复谱域尺度不变信噪比（C-Si-SNR）和幅度域均方误差（Mag-MSE），对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明，WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
Synthetic Wave-Geometric Impulse Responses for Improved Speech Dereverberation
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种新的方法来提高基于学习的语音去混响的性能，使用准确的合成数据集。我们的方法被设计为从混响语音信号中恢复无混响信号。我们表明，准确地模拟房间脉冲响应（RIR）的低频分量是很重要的，以实现良好的去混响。我们使用GWA数据集，它由以混合方式生成的合成RIR组成：精确的基于波的求解器用于模拟较低的频率，几何射线追踪方法模拟较高的频率。我们证明了在混合合成RIR上训练的语音去混响模型优于在四个真实世界的RIR数据集上通过先前的几何射线跟踪方法生成的RIR上训练的模型。
2022-12-10 cs.AI cs.LG eess.AS
CycleGAN-Based Unpaired Speech Dereverberation
Google Research（谷歌研究院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Skolkovo Institute of Science（斯科尔科沃科学学院（注：此处应为原文笔误，与前一机构关联））
典型地，基于神经网络的语音去混响模型是在成对数据上训练的，所述成对数据由干话语及其对应的混响话语组成。这种方法的主要限制是，当数据被合成混响时，这种模型只能在大量数据和各种房间脉冲响应上训练，因为获取真实的配对数据是昂贵的。在本文中，我们提出了一种基于CycleGAN的方法，使去混响模型能够在未配对的数据上进行训练。我们通过将所提出的未配对模型与具有相同架构并在相同数据集的配对版本上训练的配对模型进行比较，来量化使用未配对数据的影响。我们表明，根据客观的评价指标，在两个不同的数据集上，未配对模型的性能与配对模型的性能相当。此外，我们运行了两个主观评估，并表明两个模型在AMI数据集上实现了相当的主观质量，这在训练过程中没有看到。
2022-03-29 cs.SD eess.AS
Simultaneous Denoising and Dereverberation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
单耳语音去混响是一个非常具有挑战性的任务，因为没有空间线索可以使用。当加性噪声存在时，这个任务变得更具挑战性。本文提出了一种基于深度聚类（DC）的联合训练方法，用于同时使用深度嵌入特征进行语音去噪和去混响。DC是一种最先进的语音分离方法，包括嵌入学习和K-means聚类。对于我们提出的方法，它包括两个阶段：去噪和去混响。在去噪阶段，利用DC网络来提取无噪声的深度嵌入特征。这些嵌入特征从消声语音和残余混响信号中生成。它们可以表示所需信号的推断的频谱掩蔽模式，这是有区别的特征。在去混响阶段，而不是使用无监督的K-means聚类算法，另一个监督的神经网络被用来估计从这些深嵌入特征的消声语音。最后，采用联合训练方法对去噪和去混响阶段进行优化。实验结果表明，该方法优于WPE和BLSTM基线，特别是在低信噪比条件下。
2020-04-06 cs.LG cs.SD eess.AS
MetricGAN-U: Unsupervised speech enhancement/ dereverberation based only on noisy/ reverberated speech
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究院）；Microsoft（微软）
大多数基于深度学习的语音增强模型都是以监督的方式学习的，这意味着在训练期间需要成对的噪声和干净语音。因此，日常生活中记录的几个嘈杂的语音不能用于训练模型。虽然某些无监督学习框架也被提出来解决对约束，但它们仍然需要干净的语音或噪声进行训练。因此，在本文中，我们提出了MetricGAN-U，它代表MetricGAN-unsupervised，以进一步释放传统无监督学习的约束。在MetricGAN-U中，通过优化非侵入式语音质量指标，仅需要带噪语音来训练模型。实验结果验证了MetricGAN-U在客观和主观指标上都优于基线。
2021-10-12 cs.CL cs.SD eess.AS
A Single Speech Enhancement Model Unifying Dereverberation, Denoising, Speaker Counting, Separation, and Extraction
Waseda University（早稻田大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
提出MUSE模型，集成内部分离与目标提取模块，以单一模型统一完成去混响、降噪、分离、提取及说话人计数五项语音增强任务。
2023-10-12 cs.SD eess.AS
Joint spatial filter and time-varying MCLP for dereverberation and interference suppression of a dynamic/static speech source
运动声源的混响消除是一个比静止声源和干扰消除更困难的问题。我们探讨联合多通道线性预测（MCLP）和相对传递函数（RTF）制定的随机框架和最大似然估计。我们发现，空间滤波与失真少的响应约束，和时变复高斯模型的期望的源信号在参考麦克风的组合确实提供了更好的信号估计。对于平稳源，我们考虑批估计，并得到一个迭代解。扩展到移动源，我们制定了一个线性时变动态系统模型的MCLP系数和RTF的在线自适应空间滤波器。对于在存在干扰源的情况下跟踪期望源的情况，通过指定RTF使用相同的公式。仿真实验结果表明，与传统方法相比，该方法对静态和动态声源都具有更好的空间选择性和混响抑制效果，即使在存在干扰源的情况下也是如此。
2019-10-22 eess.AS eess.SP
