Speech Dereverberation Based on Integrated Deep and Ensemble Learning Algorithm
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Southern University of Science and Technology（南方科技大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）；National Taiwan University（台湾大学）
混响通常由墙壁、天花板和地板的声音反射引起，可导致声学应用的严重性能下降。由于衰减和时延效应的复杂组合，混响特性难以表征，并且有效地从混响信号中恢复消声语音信号仍然是一个具有挑战性的任务。在本研究中，我们提出了一种新的集成深度和集成学习算法（IDEA）的语音去混响。IDEA包括离线和在线阶段。在离线阶段，我们训练多个去混响模型，每个模型的目标是在特定的声学环境中精确地去混响语音信号，然后估计一个统一的融合函数，旨在整合多个去混响模型的信息。在在线阶段，输入话语首先由每个去混响模型处理。所有模型的输出被相应地积分以产生最终的消声信号。我们评估了设计的声学环境，包括匹配和不匹配的条件下的训练和测试数据的IDEA。实验结果表明，在模型结构和训练数据相同的情况下，IDEA去混响效果优于单一的基于深度神经网络的去混响模型。
2018-02-17 cs.SD eess.AS
Speech Dereverberation with Context-aware Recurrent Neural Networks
在本文中，我们提出了一个模型来执行语音去混响估计其频谱幅度从混响对应。我们的模型能够通过卷积编码器（从帧的短、有界上下文中提取特征）和用于提取长期信息的递归神经网络来提取考虑信号中的短期和长期依赖性的特征。我们的模型优于最近提出的模型，该模型根据混响时间使用不同的上下文信息，而不需要任何类型的额外输入，相对于混响语音，PESQ提高了0.4，STOI提高了0.3，POLQA提高了1.0。我们还证明了我们的模型能够推广到真实的房间脉冲响应，即使只使用模拟的房间脉冲响应，不同的扬声器和高混响时间进行训练。最后，听觉测试表明，所提出的方法优于基准模型在减少感知混响。
2017-11-16 cs.SD eess.AS
Dereverberation Using Binary Residual Masking with Time-Domain Consistency
Independent Researcher（独立研究者）
针对实时人声去混响的精度与效率平衡难题，提出基于STFT域残差掩模预测的U-Net框架，结合混合目标函数实现低延迟高质量去混响，适用于语音与歌唱场景。
2025-09-30 cs.SD eess.AS
Switching divergences for spectral learning in blind speech dereverberation
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i), UNL, CONICET, FICH（信号、系统与计算智能研究所（sinc(i)），国立滨海大学，国家科学技术研究委员会，水利科学学院）；Instituto de Matemática Aplicada del Litoral, IMAL, UNL, CONICET（滨海应用数学研究所（IMAL），国立滨海大学，国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
当在一个封闭的房间里录制时，声音信号肯定会受到混响的影响。这不仅破坏了音频质量，还给许多使用语音作为输入的人机交互技术带来了问题。在这项工作中，提出了一种新的盲的，两阶段的去混响方法的基础上，广义β-散度作为一个保真度项在非负表示。第一阶段包括仅从观察到的频谱图学习信号的频谱结构，而第二阶段致力于模型混响。这两个步骤都是通过最小化成本函数来实现的，其中的目标是通过改变所涉及的分歧来构建字典或良好的表示。此外，还提出了一种为字典学习寻找最佳保真度参数的方法。一种算法，用于实现所提出的方法进行了描述和测试对国家的最先进的方法。结果表明，人工混响和真实录音的改善。
2018-09-19 cs.SD eess.AS
TeCANet: Temporal-Contextual Attention Network for Environment-Aware Speech Dereverberation
Tencent AI Lab（腾讯AI实验室）
在本文中，我们探索有效的方法来利用上下文信息，以提高在现实世界的混响环境中的语音去混响性能。提出了一种基于深度神经网络的时间-上下文注意方法，用于环境感知语音去混响，该方法可以自适应地注意上下文信息。更具体地说，提出了一种基于全频带的时间注意力方法（FTA），该方法对上下文帧的全频带信息之间的相关性进行建模。此外，考虑到房间脉冲响应（RIR）中高频段和低频段衰减的差异（高频段衰减快于低频段），本文还提出了一种基于子带的时间注意力方法（STA）。为了引导网络更加了解混响环境，我们以多任务的方式联合优化去混响网络和混响时间（RT 60）估计器。我们的实验结果表明，该方法优于我们以前提出的混响时间感知DNN和学习的注意力权重是完全物理一致的。我们还报告了一个初步的，但有前途的去混响和识别实验的真实测试数据。
2021-08-26 cs.SD eess.AS
A Hybrid Model for Weakly-Supervised Speech Dereverberation
针对现有语音去混响算法依赖难获取的干/湿配对数据或目标指标存在局限的问题，提出利用混响时间（RT60）等有限声学信息训练去混响系统，通过混响匹配损失优化，在多客观指标上实现比现有最优方法更一致的性能。
2025-02-06 cs.AI cs.SD eess.AS
Unsupervised vocal dereverberation with diffusion-based generative models
Sony Group Corporation（索尼集团公司）
从混响音乐中去除混响是为下游音乐操作清理音频的必要技术。音乐混响分为自然混响和人工混响两大类。人工混响由于其各种参数设置和混响类型而比自然混响具有更广泛的多样性。然而，最近的监督去混响方法可能会失败，因为它们依赖于足够多样化和大量的混响观测和检索数据对进行训练，以便在推理期间推广到看不见的观测。为了解决这些问题，我们提出了一种无监督的方法，可以消除音乐的一般类型的人工混响，而不需要对数据进行训练。所提出的方法是基于扩散模型，其中它的未知混响算子与传统的信号处理技术，同时细化的估计与扩散模型的帮助。我们通过客观和感性的评价表明，我们的方法优于目前领先的声乐去混响基准。
2022-11-08 cs.LG cs.SD eess.AS
A neural network-supported two-stage algorithm for lightweight dereverberation on hearing devices
Universität Hamburg（汉堡大学）；Advanced Bionics（先进仿生公司）
本文提出一种面向助听设备的轻量级两阶段在线去混响算法，结合多通道线性滤波与单通道后置滤波，并利用DNN估计PSD，通过端到端训练优化早期到中期混响比，再以后置滤波抑制晚期混响，在性能和计算效率上优于现有DNN方法。
2023-05-31 cs.LG cs.SD eess.AS
Controllable Multichannel Speech Dereverberation based on Deep Neural Networks
Alibaba Group（阿里巴巴集团）
基于神经网络的语音去混响在近年来的研究中取得了可喜的成果。然而，许多人专注于恢复的直接路径声音和早期的反射，这可能是有益的语音感知，被丢弃。当对早期混响目标进行评估时，经过训练以恢复干净语音的模型的性能会下降，反之亦然。提出了一种基于深度神经网络的多通道语音去混响算法，该算法的去混响水平是可控的。这是通过添加一个简单的浮点数作为模型的目标控制器来实现的。使用空间分布的麦克风进行实验，并在各种模拟条件下证实了所提出的算法的有效性。
2021-10-16 cs.SD eess.AS
Joint Online Multichannel Acoustic Echo Cancellation, Speech Dereverberation and Source Separation
Alibaba Group（阿里巴巴集团）
本文提出了一种联合声源分离算法，同时减少声回波，混响和干扰源。通过最大化相对于其他源的独立性，将目标语音从混合物中分离出来。结果表明，分离过程可分解为回声消除、语音去混响和声源分离等子过程，这些子过程均采用基于辅助函数的独立分量/向量分析技术求解，且求解顺序可互换。级联的解决方案不仅导致较低的计算复杂性，但比香草联合算法有更好的分离性能。
2021-04-09 cs.SD eess.AS
Joint Acoustic Echo Cancellation and Speech Dereverberation Using Kalman filters
提出了一种短时傅里叶变换域的回声消除和语音去混响联合算法。混响麦克风信号使用自回归（AR）模型来描述。AR系数和麦克风扬声器到麦克风的声学传递函数（ATF）被认为是时变的，并同时使用一阶马尔可夫过程建模。这导致了一种解决方案，其中这些参数可以使用卡尔曼滤波器进行最佳估计。仿真结果表明，该算法在语音质量和回声抑制性能方面均优于传统的AEC和DR算法以及基于半盲声源分离的联合DRAEC算法。
2023-02-09 cs.SD eess.AS
Dereverberation Filter by Deconvolution with Frequency Bin Specific Faded Impulse Response
ResearchGate
本文提出了一种基于频域特定衰减的单通道去混响滤波器，通过盲估计混响时间比来优化脉冲响应，以提升信号清晰度。
2026-01-10 cs.SD eess.AS
To Dereverb Or Not to Dereverb? Perceptual Studies On Real-Time Dereverberation Targets
Amazon Web Services（亚马逊云科技）
在现实生活中，房间效应，也称为房间混响，以及当前的背景噪声降低了语音质量。最近，基于深度学习的语音增强方法已经显示出很大的前景，并超过了传统的去噪和去混响方法。人们也已经确定，这些最先进的去噪算法显着提高了人类听众感知的语音质量。但是，去混响对主观（感知）语音质量的作用，以及由去混响引入的附加伪影是否弊大于利仍然不清楚。在本文中，我们试图回答这些问题，通过评估一个国家的最先进的语音增强系统在一个综合的主观评价研究不同的选择去混响目标。
2022-06-16 cs.SD eess.AS
Learning Audio-Visual Dereverberation
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta AI（Meta人工智能基础人工智能研究院）
混响不仅降低了语音的质量，而且严重影响了自动语音识别的准确性。先前的工作尝试仅基于音频模态来去除混响。我们的想法是学习从视听观察中消除语音的回响。人类说话者周围的视觉环境揭示了关于房间几何形状，材料和扬声器位置的重要线索，所有这些都会影响精确的混响效果。我们介绍了视觉信息的音频去混响（VIDA），这是一种端到端的方法，可以根据观察到的单声道声音和视觉场景来学习消除混响。为了支持这一新任务，我们开发了一个大规模的数据集SoundSpaces-Speech，该数据集在提供各种室内声学效果的真实家庭3D扫描中使用逼真的语音声学渲染。演示我们的方法在模拟和真实图像的语音增强，语音识别，和说话人辨识，我们表明它达到了最先进的性能，并大大提高了纯音频的方法。
2023-03-13 cs.CV cs.LG cs.SD
A Simultaneous Denoising and Dereverberation Framework with Target Decoupling
Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Communication University of China（中国传媒大学）
背景噪声和室内混响是影响语音主观质量的两个主要因素。在本文中，我们提出了一个集成的框架，以解决在复杂的场景环境下同时去噪和去混响。采用链式优化策略，设计了四个子阶段。在前两个阶段中，我们解耦了多任务学习w.r.t.将复杂频谱分解为幅度和相位，并且仅在幅度域中实现噪声和混响去除。基于上述估计的先验，我们在第三阶段进一步抛光频谱，其中幅度和相位信息都通过残差学习显式修复。由于数据失配和DNN的非线性效应，DNN处理后的频谱中往往存在残余噪声。为了解决这个问题，我们采用了一个轻量级的算法作为后处理模块，捕获和抑制非活动区域的残留噪声。在Interspeech 2021深度噪声抑制（DNS）挑战赛中，我们提交的系统在ITU-T P.835框架的平均意见得分（MOS）方面排名第一
2021-06-24 cs.SD eess.AS
Dereverberation using joint estimation of dry speech signal and acoustic system
Spotify, S.A.（Spotify公司）
语音去混响的目的是从信号中去除时不变脉冲响应滤波器的质量降低效应。在这份报告中，我们描述了一种方法，语音去混响，涉及联合估计的干语音信号和房间的脉冲响应。我们将探索分别应用于每个任务的深度学习模型，以及如何将这些模型组合到具有共享参数的联合模型中。
2020-07-24 cs.LG cs.SD eess.AS
Speech Dereverberation in the STFT Domain
Imperial College London（帝国理工学院）
混响对语音信号的质量和可懂度都有损害。提出了一种基于短时傅立叶变换域线性滤波器的单通道混响消除方法。每个增强帧基于信道脉冲响应从附近帧的线性和构造。结果表明，该方法可以解决任何混响信号的冲击响应的知识，非混响信号。
2015-09-24 cs.SD
RLS-Based Adaptive Dereverberation Tracing Abrupt Position Change of Target Speaker
Nanjing University（南京大学）；Institute of Acoustics（声学研究所）
基于多通道线性预测的自适应算法是一种有效的去混响方法，能够很好地平衡长时混响的衰减和去混响后的语音质量。然而，通常由说话人的移动引起的语音源位置的突变形成了自适应算法的障碍，并且使得难以保证快速收敛速度和最优稳态行为。研究了基于RLS的自适应多通道线性预测方法，提出了一种基于自适应滤波器系数相对加权变化的时变遗忘因子，有效地跟踪目标说话人位置的突变。仿真和实验证明了该方案的优越性。
2018-08-23 cs.SD eess.AS
Unsupervised Blind Joint Dereverberation and Room Acoustics Estimation with Diffusion Models
Universität Hamburg（汉堡大学）；Aalto University（阿尔托大学）
本文提出无监督方法BUDDy，结合扩散模型与贝叶斯采样，联合估计房间冲激响应并去混响，在盲场景中优于现有基线，适应性强，并支持高分辨率歌声去混响。
2025-03-25 cs.LG cs.SD eess.AS
Déréverbération non-supervisée de la parole par modèle hybride
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）
本文提出一种利用混响时间和仅含混响语音的无监督训练策略，改进语音去混响系统，并在多种客观指标上实现更一致的性能。
2025-10-10 cs.AI cs.SD eess.AS
RVAE-EM: Generative speech dereverberation based on recurrent variational auto-encoder and convolutive transfer function
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出基于RVAE和CTF的生成式语音去混响方法，通过EM算法实现MAP估计，在单声道实验中优于判别式网络。
2023-10-17 cs.SD eess.AS
End-to-End Far-Field Speech Recognition with Unified Dereverberation and Beamforming
Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管端到端方法在多通道语音识别中得到了成功的应用，但当语音被混响破坏时，识别性能仍然会严重下降。在本文中，我们将去混响模块集成到端到端的多通道语音识别系统中，并探讨了两种不同的前端架构。首先，多源掩模为基础的加权预测误差（WPE）模块被纳入前端去混响。其次，提出了另一种新的前端架构，它扩展了加权功率最小化无失真响应（WPD）卷积波束形成器，以执行同时分离和去混响。我们推导出一个新的配方从原来的WPD，它可以处理多源输入，并取代特征值分解与矩阵求逆运算，使反向传播算法更稳定。以上两种架构都是以完全端到端的方式进行优化的，只使用了语音识别标准。在空间化wsj 1 - 2 mix语料库和REVERB上的实验表明，该模型在混响场景下的性能优于传统方法。
2020-10-27 cs.SD eess.AS
SkipConvGAN: Monaural Speech Dereverberation using Generative Adversarial Networks via Complex Time-Frequency Masking
University of Texas at Dallas（德克萨斯大学达拉斯分校）
随着深度学习方法的进步，语音增强系统在存在背景噪声的情况下的性能已经显示出显着的改善。然而，提高系统对混响的鲁棒性仍然是一项正在进行的工作，因为混响往往会由于时间和频率上的拖尾效应而导致共振峰结构的损失。各种基于深度学习的系统要么增强幅度响应并重新使用失真相位，要么使用复杂的时频掩模增强复杂的频谱图。虽然这些方法已经证明了令人满意的性能，但它们不能直接解决由混响引起的共振峰结构丢失。我们相信，共振峰结构的检索可以帮助提高现有系统的效率。在这项研究中，我们提出了SkipConvGAN-我们以前的工作SkipConvNet的扩展。所提出的系统的发电机网络试图估计一个有效的复杂的时间-频率掩模，而在驱动发电机恢复丢失的共振峰结构的ESTA网络的援助。我们评估我们提出的系统的性能，从单通道任务的REVERB挑战语料库的混响语音的模拟和真实录音。与其他基于深度学习的生成对抗框架相比，该系统在多个房间配置中表现出一致的改进。
2022-11-22 cs.LG cs.SD eess.AS
Denoising-and-Dereverberation Hierarchical Neural Vocoder for Robust Waveform Generation
University of Science and Technology of China（中国科学技术大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种去噪和去混响的分层神经声码器（DNR HiNet），将噪声和混响的声学特征转换为干净的语音波形。我们主要是通过修改原有HiNet声码器中的幅度谱预测器（ASP）来实现的。这种改进的去噪和去混响ASP（DNR-ASP）可以从输入的退化声学特征预测干净的对数幅度谱（LAS）。为了实现这一点，DNR-ASP首先预测噪声和混响LAS、与噪声信息相关的噪声LAS以及与混响信息相关的房间脉冲响应，然后执行初始去噪和去混响。然后，通过另一个神经网络增强初始处理的LAS作为最终清洁LAS。为了进一步提高生成的干净LAS的质量，我们还在DNR-ASP中引入了带宽扩展模型和频率分辨率扩展模型。实验结果表明，DNR-HiNet声码器能够产生一个去噪和去混响的波形给定的噪声和混响的声学特征，并优于原来的HiNet声码器和其他一些神经声码器。我们还将DNR-HiNet声码器应用于语音增强任务，其性能与几种先进的语音增强方法相媲美。
2020-11-08 cs.SD eess.AS
Estimating & Mitigating the Impact of Acoustic Environments on Machine-to-Machine Signalling
Queen Mary University of London（伦敦玛丽女王大学）
在各种物联网和电信应用中传输声音数据的技术的进步导致了机器对机器空中声学信令的概念。在解码时，混响可能对这种机器对机器信号具有不利影响。人们已经研究了各种方法来对抗语音和音频信号中的混响效应，但尚不清楚它们对其他声音类型的推广效果如何。我们着眼于扩展这些模型，以促进机器对机器的声学信号。本研究探讨混响消除技术，以筛选出一种单通道混响抑制方法。为了应用所选择的去混响方法，提出了一种新的估计控制混响的声学参数的方法。最终算法的性能进行评估的质量指标，以及一个真正的机器到机器解码器的性能。我们证明了一个戏剧性的降低错误率为可听和超声波信号。
2019-08-13 cs.SD eess.AS eess.SP
Single-channel Speech Dereverberation via Generative Adversarial Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出了一种基于卷积、双向长短期记忆和深度前馈神经网络（CBLDNN）的单通道语音去混响系统（DeReGAT）。为了获得更好的语音质量，而不是仅仅最小化均方误差（MSE），GAT被用来使去混响语音与干净样本不可区分。此外，我们的系统可以处理大范围的混响，并能很好地适应不同的环境。实验结果表明，该模型优于加权预测误差（WPE）和基于深度神经网络的系统。此外，DeReGAT扩展到一个在线语音去混响的情况下，报告与离线的情况下相当的性能。
2018-06-25 cs.CL cs.SD eess.AS
Diffusion Posterior Sampling for Informed Single-Channel Dereverberation
Universität Hamburg（汉堡大学）；DESY（德国电子同步加速器研究所）
提出基于扩散模型条件生成的知情单通道去混响方法，利用房间冲激响应和测量一致性准则，在非平稳噪声和大混响时间下优于现有方法，并扩展至盲去混响联合估计。
2023-06-21 cs.LG cs.SD eess.AS
Phase-aware Single-stage Speech Denoising and Dereverberation with U-Net
Seoul National University（首尔大学）；Supertone Inc.（Supertone公司）
在这项工作中，我们解决了一个去噪和去混响的问题与单级框架。尽管去噪和去混响可能被认为是两个独立的挑战性任务，因此每个任务通常需要两个模块，但我们证明了可以共享一个深度网络来解决这两个问题。为此，我们提出了一种新的掩蔽方法，称为相位感知β-S形掩模（PHM），它重用估计的幅度值来估计干净的相位，通过尊重三个信号分量之间的三角不等式，如混合，源和其余的复域。两个PHM用于处理直接和混响源，这允许在推理时控制增强语音中混响的比例。此外，为了提高语音增强的性能，我们提出了一个新的时域损失函数，并显示了一个合理的性能增益相比，在复杂的域中的MSE损失。最后，为了实现实时推理，提出了一种U-Net的优化策略，与朴素版本相比，该策略显着减少了计算开销，最高可达88.9%。
2020-06-01 cs.SD eess.AS
Speech dereverberation constrained on room impulse response characteristics
Telecom Paris, Institut polytechnique de Paris（巴黎理工学院电信学院）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
针对现有深度学习语音去混响方法缺乏房间声学可解释性的问题，提出用物理一致性损失正则化训练，使输出诱导的RIR匹配房间声学特性，兼顾去混响效果与物理一致性。
2024-07-10 cs.SD eess.AS eess.SP
DOA Estimation by DNN-based Denoising and Dereverberation from Sound Intensity Vector
NTT Media Intelligence Laboratories（NTT媒体情报实验室）；University of Padova（帕多瓦大学）
提出了一种结合基于声强矢量的DOA估计和基于DNN的去噪去混响的波达方向估计方法。由于基于IV的DOA估计的准确性由于环境噪声和混响而降低，因此使用两个DNN来从观察到的IV中去除这种影响。然后，基于波传播的物理学，从改进的IV估计DOA。在开放数据集上的实验表明，该方法的平均DOA误差为0.528度，优于传统的基于IV和基于DNN的DOA估计方法。
2019-10-10 cs.LG cs.SD eess.AS
Integrated Speech Enhancement Method Based on Weighted Prediction Error and DNN for Dereverberation and Denoising
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
混响和加性噪声都会降低语音质量和可懂度。加权预测误差法（WPE）对混响的去除效果较好，但也存在一定的局限性。首先，WPE算法没有考虑加性噪声的影响，从而降低了去混响的性能。其次，它依赖于一个耗时的迭代过程，并且没有保证或广泛接受的收敛标准。本文将深度神经网络（DNN）集成到WPE中进行去混响和去噪。DNN用于抑制背景噪声，以满足WPE的无噪声假设。同时，DNN直接预测目标语音的谱方差，使WPE无需迭代即可工作。实验结果表明，该方法在语音质量上有明显的提高，并且运行速度快。
2017-08-28 cs.SD
A Cold Diffusion Approach for Percussive Dereverberation
Department of Music Technology（音乐技术系）；Acoustics Hellenic Mediterranean University（声学希伯伦地中海大学）
本文提出冷扩散框架用于去混响立体鼓声，将混响视为确定性退化过程，通过UNet和扩散Transformer实现，实验表明在感知和信号指标上优于基线方法。
2026-05-11 cs.AI cs.SD
A Single Speech Enhancement Model Unifying Dereverberation, Denoising, Speaker Counting, Separation, and Extraction
Waseda University（早稻田大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
提出MUSE模型，集成内部分离与目标提取模块，以单一模型统一完成去混响、降噪、分离、提取及说话人计数五项语音增强任务。
2023-10-12 cs.SD eess.AS
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab（腾讯AI实验室）
本文旨在消除干扰说话人的语音，加性噪声，混响从嘈杂的多说话人的语音混合，有利于自动语音识别（ASR）后端。虽然最近提出的加权功率最小化无失真响应（WPD）波束形成器可以同时执行分离和去混响，但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”，通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失，包括复谱域尺度不变信噪比（C-Si-SNR）和幅度域均方误差（Mag-MSE），对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明，WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech Deep Features in Adversarial Networks
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
真实世界的音频记录通常会受到噪声、混响和均衡失真等因素的影响。本文介绍了HiFi-GAN，这是一种深度学习方法，可以将录制的语音转换为声音，就像在录音室录制的一样。我们使用端到端前馈WaveNet架构，在时域和时频域中使用多尺度对抗鉴别器进行训练。它依赖于鉴别器的深度特征匹配损失来提高增强语音的感知质量。所提出的模型推广以及新的扬声器，新的语音内容，和新的环境。在客观和主观实验中，它显着优于最先进的基线方法。
2020-09-21 cs.LG cs.SD eess.AS
BUDDy: Single-Channel Blind Unsupervised Dereverberation with Diffusion Models
Aalto University（阿尔托大学）；Universität Hamburg（汉堡大学）
本文提出BUDDy方法，利用扩散模型后验采样在单通道无监督条件下联合实现盲去混响和房间脉冲响应估计，无需成对数据且对未知声学环境更鲁棒。
2024-05-07 cs.LG cs.SD eess.AS
Simultaneous Denoising and Dereverberation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
单耳语音去混响是一个非常具有挑战性的任务，因为没有空间线索可以使用。当加性噪声存在时，这个任务变得更具挑战性。本文提出了一种基于深度聚类（DC）的联合训练方法，用于同时使用深度嵌入特征进行语音去噪和去混响。DC是一种最先进的语音分离方法，包括嵌入学习和K-means聚类。对于我们提出的方法，它包括两个阶段：去噪和去混响。在去噪阶段，利用DC网络来提取无噪声的深度嵌入特征。这些嵌入特征从消声语音和残余混响信号中生成。它们可以表示所需信号的推断的频谱掩蔽模式，这是有区别的特征。在去混响阶段，而不是使用无监督的K-means聚类算法，另一个监督的神经网络被用来估计从这些深嵌入特征的消声语音。最后，采用联合训练方法对去噪和去混响阶段进行优化。实验结果表明，该方法优于WPE和BLSTM基线，特别是在低信噪比条件下。
2020-04-06 cs.LG cs.SD eess.AS
MMAudioReverbs: Video-Guided Acoustic Modeling for Dereverberation and Room Impulse Response Estimation
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出MMAudioReverbs框架，利用预训练视频到音频模型进行去混响和房间脉冲响应估计，通过小数据集微调实现无需修改网络结构的统一处理。
2026-05-01 cs.CV cs.LG cs.SD
Multichannel Online Dereverberation based on Spectral Magnitude Inverse Filtering
INRIA Grenoble Rhône-Alpes（法国国立信息与自动化研究院罗讷-阿尔卑斯大区格勒诺布尔研究中心）；GIPSA-lab（GIPSA实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Bar Ilan University（巴伊兰大学）
本文研究了多通道在线混响消除问题。该方法在短时傅立叶变换（STFT）域中进行，并且对于每个频带独立地进行。在STFT域中，时域房间脉冲响应近似地由卷积传递函数（CTF）表示。基于互相关法，采用递推最小二乘准则自适应地识别多通道的CTF。代替复值CTF卷积模型，我们使用源信号的STFT幅度和CTF幅度之间的非负卷积模型，这只是前一个模型的粗略近似，但被证明对CTF扰动更鲁棒。基于此非负模型，我们提出了一种在线STFT幅度逆滤波方法。基于多输入/输出逆定理（MINT）推导了CTF幅值的逆滤波器，并基于梯度下降准则自适应估计CTF幅值。最后，将逆滤波应用于麦克风信号的STFT幅度，获得源信号的STFT幅度的估计。语音增强和自动语音识别的实验表明，该方法可以有效地抑制混响，即使在说话人运动的困难情况下也是如此。
2020-11-09 cs.SD eess.AS
Speech Dereverberation and Noise Reduction for both diffusive noise field and point noise source in Binaural Hearing Aids: Preliminary Version
Federal University of Technology – Paraná（巴拉那联邦技术大学）；Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
多通道维纳滤波器（MWF）及其变体已广泛应用于双耳助听器。然而，它的主要缺点是残余噪声的双耳线索的失真，改变了原始的声学场景，这对于听力受损的人来说是至关重要的。MWF-IC方法先前被提出用于联合语音去混响和降噪，保留扩散噪声场的耳间相干性（IC）。在这项工作中，我们提出了一个新的变化的MWF-IC的语音去混响和降噪，它保留了原始的空间特性的残留噪声的扩散场或点源。客观的测量和初步的心理声学实验表明，该方法是能够在感知上保持这两种类型的噪声的原始空间化，而没有显着的性能损失，在两个语音去混响和降噪。
2019-11-09 cs.SD eess.AS
DeepVQE: Real Time Deep Voice Quality Enhancement for Joint Acoustic Echo Cancellation, Noise Suppression and Dereverberation
Microsoft Corp.（微软公司）
本文提出实时交叉注意力模型 DeepVQE，融合残差 CNN 与 RNN，联合完成 AEC、NS 和 DR，并在 ICASSP 2023 两项挑战赛非个性化赛道达到最先进性能，且已在 Microsoft Teams 实时验证。
2023-06-05 cs.CV cs.SD eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
ML Estimation and CRBs for Reverberation, Speech and Noise PSDs in Rank-Deficient Noise-Field
Bar-Ilan University（巴伊兰大学）
语音通信系统在混响和噪声声学环境中易于性能下降。去混响和降噪算法通常需要几个模型参数，例如语音、混响和噪声功率谱密度（PSD）。通常使用的假设是噪声PSD矩阵是已知的。然而，在实际的声学场景中，噪声PSD矩阵是未知的，并且应该与语音和混响PSD一起估计。在本文中，我们考虑秩亏噪声PSD矩阵的情况下，这是由多个定向干扰源，其数量小于麦克风的数量的噪声信号。我们得到两个封闭形式的最大似然估计（MLE）。第一种是联合估计语音、混响和噪声PSD的基于非块的估计器，第二种是基于块的估计器，其首先块化语音信号，然后联合估计混响和噪声PSD。这两种估计的解析比较和分析，均方误差（MSE）的表达式。此外，Cramer-Rao界（CRB）的估计PSD的推导。使用模拟和真实的混响和噪声信号，所提出的估计检查，证明所提出的方法相比，竞争估计的优势。
2020-01-27 cs.SD eess.AS
Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion
Southern University of Science and Technology（南方科技大学）；Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）
针对视觉声学匹配与去混响任务独立处理、依赖成对数据的问题，提出基于扩散模型的互学习框架MVSD，利用双向互惠关系和闭环反馈，在单向未配对数据下提升两个任务的性能与视觉场景匹配度。
2024-07-15 cs.AI cs.CV cs.SD
Integrated sidelobe cancellation and linear prediction Kalman filter for joint multi-microphone speech dereverberation, interfering speech cancellation, and noise reduction
KU Leuven（鲁汶大学）；University of Oldenburg（奥尔登堡大学）
在多麦克风语音增强中，通常通过去卷积和空间滤波来抑制混响以及加性噪声和/或干扰语音，例如，一方面使用多信道线性预测（MCLP）和波束成形，例如，另一方面，广义旁瓣消除器（GSC）。在本文中，我们考虑了几个混响语音分量，其中一些要被去混响，另一些要被消除，以及扩散（例如，串音）噪声分量。为了执行反卷积和空间滤波，我们将MCLP和GSC集成到一个新的架构中，称为集成旁瓣消除和线性预测（ISCLP），其中旁瓣消除（SC）滤波器和线性预测（LP）滤波器并行操作，但在不同的麦克风信号帧上。在ISCLP中，我们通过单个卡尔曼滤波器联合估计两个滤波器。我们进一步提出了一个频谱维纳增益后处理器，这是关系到卡尔曼滤波器的后验状态估计。所提出的ISCLP卡尔曼滤波器的基准对两个国家的最先进的方法，即第一对交替卡尔曼滤波器分别执行去混响和降噪，第二个MCLP+GSC卡尔曼滤波器级联。虽然ISCLP卡尔曼滤波器比两种参考算法（其中$M$表示麦克风的数量）便宜大约$M^2$倍，但与前者相比，它的性能类似，并且优于后者。
2019-06-18 cs.SD eess.AS
Is Phase Really Needed for Weakly-Supervised Dereverberation ?
本文研究了弱监督消回声中回声相位的作用，发现其携带有限信息，排除后模型性能显著提升。
2025-11-20 cs.AI cs.SD eess.SP
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
How much to Dereverberate? Low-Latency Single-Channel Speech Enhancement in Distant Microphone Scenarios
L-Acoustics（法国音响品牌L-Acoustics）
本文研究5至10米远距离麦克风场景下的实时低延迟单通道语音增强，证明了其可行性，发现房间体积与混响时间关系对模拟房间脉冲响应很重要，并提出保留早期反射可提升整体信号质量。
2025-05-02 cs.LG cs.SD eess.AS
Mixed penalization in convolutive nonnegative matrix factorization for blind speech dereverberation
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i), FICH-UNL/CONICET（信号、系统与计算智能研究所 (sinc(i)), FICH-UNL/CONICET）；Instituto de Matemática Aplicada del Litoral, IMAL, CONICET-UNL（滨海应用数学研究所 (IMAL), CONICET-UNL）；Universidad Nacional del Litoral（国立滨海大学）
当信号在封闭的房间中记录时，它通常会受到混响的影响。当处理音频信号时，特别是在诸如自动语音识别之类的语音信号处理领域中，这种退化代表了一个问题。虽然有一些方法来处理这个问题，在某些条件下是相当令人满意的，构建一个方法，在一般情况下工作得很好，仍然是一个重大的挑战。在这篇文章中，我们提出了一种基于卷积非负矩阵分解的方法，该方法混合了两个惩罚器，以便在恢复信号的时频分量和混响分量上施加某些特性。实现该方法的算法进行了描述和测试。与最先进的方法所获得的结果进行比较，显示出显着的改善。
2017-05-31 cs.SD
Joint NN-Supported Multichannel Reduction of Acoustic Echo, Reverberation and Noise
Invoxia SAS（Invoxia公司）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用研究实验室）
我们考虑的问题，同时减少声学回声，混响和噪声。在真实场景中，这些失真源可能同时发生，减少它们意味着组合相应的失真特定滤波器。由于这些过滤器相互作用，因此必须对其进行联合优化。我们建议使用多通道高斯建模框架对线性回波消除和去混响后的目标和残留信号进行建模，并通过神经网络联合表示它们的频谱。我们开发了一个迭代块坐标上升算法来更新所有的过滤器。我们评估我们的系统在各种情况下用智能扬声器获得的声学回声，混响和噪声的真实记录。所提出的方法优于整体失真的级联的个别方法和联合减少的方法，它不依赖于目标和残留信号的频谱模型。
2020-07-27 cs.LG cs.SD eess.AS
Audio-Visual Speech Enhancement In Complex Scenarios With Separation And Dereverberation Joint Modeling
School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University（多模态智能系统苏州市级重点实验室、杜克昆山大学数字创新研究中心）；Hardware Engineering System, OPPO（OPPO硬件工程系统）
本文提出一种有效的音视频语音增强系统，通过设计“先分离后去混响”流程应对复杂声学环境，在第四届COGMHEAR挑战赛中取得客观指标优异并获主观测试第一名。
2025-10-29 cs.CV cs.MM cs.SD
Blind and neural network-guided convolutional beamformer for joint denoising, dereverberation, and source separation
NTT Corporation（日本电信电话公司）
本文提出了一种优化卷积波束形成器（CBF）的方法，可以联合执行去噪（DN），去混响（DR）和源分离（SS）。首先，我们开发了一个盲CBF优化算法，不需要先验信息的来源或房间声学，通过扩展传统的联合DR和SS方法。为了使优化计算易于处理，我们将两种技术的方法：源明智的分解（SW-事实）的CBF和独立向量提取（IVE）。为了进一步提高性能，我们开发了一种方法，集成了基于神经网络（NN）的源功率谱估计与CBF优化的逆伽玛先验。实验结果表明，该方法在提高自动语音识别性能和降低信号失真性能方面，大大优于传统的基于掩码的神经网络语音识别方法。
2021-08-04 cs.SD eess.AS eess.SP
Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院巴黎电信学院LTCI（注：LTCI为实验室名称，按要求提取到机构级别即巴黎电信学院及巴黎综合理工学院））；Graduate School of Engineering, Kyoto University（京都大学工学研究科）
针对失配条件下神经波束成形语音增强性能下降的问题，提出基于DNN估计的WPD波束成形以整合去混响去噪能力并支持运行时自适应，在多种声学条件下验证了其效果。
2024-10-30 cs.AI cs.LG cs.SD
Speech enhancement with frequency domain auto-regressive modeling
Indian Institute of Science（印度科学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Samsung Research India（三星印度研究院）
本文提出基于频域自回归包络-载波分解和双路径LSTM的语音去混响框架，联合优化去混响网络与端到端ASR模型，在REVERB和VOiCES数据集上取得10-24%的平均相对性能提升。
2023-09-24 cs.AI cs.SD eess.AS
