MMAudioReverbs: Video-Guided Acoustic Modeling for Dereverberation and Room Impulse Response Estimation
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出MMAudioReverbs框架，利用预训练视频到音频模型进行去混响和房间脉冲响应估计，通过小数据集微调实现无需修改网络结构的统一处理。
2026-05-01 cs.CV cs.LG cs.SD
BUDDy: Single-Channel Blind Unsupervised Dereverberation with Diffusion Models
Aalto University（阿尔托大学）；Universität Hamburg（汉堡大学）
本文提出BUDDy方法，利用扩散模型后验采样在单通道无监督条件下联合实现盲去混响和房间脉冲响应估计，无需成对数据且对未知声学环境更鲁棒。
2024-05-07 cs.LG cs.SD eess.AS
Déréverbération non-supervisée de la parole par modèle hybride
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）
本文提出一种利用混响时间和仅含混响语音的无监督训练策略，改进语音去混响系统，并在多种客观指标上实现更一致的性能。
2025-10-10 cs.AI cs.SD eess.AS
Speech Dereverberation Based on Integrated Deep and Ensemble Learning Algorithm
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Southern University of Science and Technology（南方科技大学）；National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）；National Taiwan University（台湾大学）
混响通常由墙壁、天花板和地板的声音反射引起，可导致声学应用的严重性能下降。由于衰减和时延效应的复杂组合，混响特性难以表征，并且有效地从混响信号中恢复消声语音信号仍然是一个具有挑战性的任务。在本研究中，我们提出了一种新的集成深度和集成学习算法（IDEA）的语音去混响。IDEA包括离线和在线阶段。在离线阶段，我们训练多个去混响模型，每个模型的目标是在特定的声学环境中精确地去混响语音信号，然后估计一个统一的融合函数，旨在整合多个去混响模型的信息。在在线阶段，输入话语首先由每个去混响模型处理。所有模型的输出被相应地积分以产生最终的消声信号。我们评估了设计的声学环境，包括匹配和不匹配的条件下的训练和测试数据的IDEA。实验结果表明，在模型结构和训练数据相同的情况下，IDEA去混响效果优于单一的基于深度神经网络的去混响模型。
2018-02-17 cs.SD eess.AS
Speech dereverberation constrained on room impulse response characteristics
Telecom Paris, Institut polytechnique de Paris（巴黎理工学院电信学院）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
针对现有深度学习语音去混响方法缺乏房间声学可解释性的问题，提出用物理一致性损失正则化训练，使输出诱导的RIR匹配房间声学特性，兼顾去混响效果与物理一致性。
2024-07-10 cs.SD eess.AS eess.SP
Denoising-and-Dereverberation Hierarchical Neural Vocoder for Robust Waveform Generation
University of Science and Technology of China（中国科学技术大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种去噪和去混响的分层神经声码器（DNR HiNet），将噪声和混响的声学特征转换为干净的语音波形。我们主要是通过修改原有HiNet声码器中的幅度谱预测器（ASP）来实现的。这种改进的去噪和去混响ASP（DNR-ASP）可以从输入的退化声学特征预测干净的对数幅度谱（LAS）。为了实现这一点，DNR-ASP首先预测噪声和混响LAS、与噪声信息相关的噪声LAS以及与混响信息相关的房间脉冲响应，然后执行初始去噪和去混响。然后，通过另一个神经网络增强初始处理的LAS作为最终清洁LAS。为了进一步提高生成的干净LAS的质量，我们还在DNR-ASP中引入了带宽扩展模型和频率分辨率扩展模型。实验结果表明，DNR-HiNet声码器能够产生一个去噪和去混响的波形给定的噪声和混响的声学特征，并优于原来的HiNet声码器和其他一些神经声码器。我们还将DNR-HiNet声码器应用于语音增强任务，其性能与几种先进的语音增强方法相媲美。
2020-11-08 cs.SD eess.AS
A Hybrid Model for Weakly-Supervised Speech Dereverberation
针对现有语音去混响算法依赖难获取的干/湿配对数据或目标指标存在局限的问题，提出利用混响时间（RT60）等有限声学信息训练去混响系统，通过混响匹配损失优化，在多客观指标上实现比现有最优方法更一致的性能。
2025-02-06 cs.AI cs.SD eess.AS
CycleGAN-Based Unpaired Speech Dereverberation
Google Research（谷歌研究院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Skolkovo Institute of Science（斯科尔科沃科学学院（注：此处应为原文笔误，与前一机构关联））
典型地，基于神经网络的语音去混响模型是在成对数据上训练的，所述成对数据由干话语及其对应的混响话语组成。这种方法的主要限制是，当数据被合成混响时，这种模型只能在大量数据和各种房间脉冲响应上训练，因为获取真实的配对数据是昂贵的。在本文中，我们提出了一种基于CycleGAN的方法，使去混响模型能够在未配对的数据上进行训练。我们通过将所提出的未配对模型与具有相同架构并在相同数据集的配对版本上训练的配对模型进行比较，来量化使用未配对数据的影响。我们表明，根据客观的评价指标，在两个不同的数据集上，未配对模型的性能与配对模型的性能相当。此外，我们运行了两个主观评估，并表明两个模型在AMI数据集上实现了相当的主观质量，这在训练过程中没有看到。
2022-03-29 cs.SD eess.AS
Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion
Southern University of Science and Technology（南方科技大学）；Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）
针对视觉声学匹配与去混响任务独立处理、依赖成对数据的问题，提出基于扩散模型的互学习框架MVSD，利用双向互惠关系和闭环反馈，在单向未配对数据下提升两个任务的性能与视觉场景匹配度。
2024-07-15 cs.AI cs.CV cs.SD
DeepVQE: Real Time Deep Voice Quality Enhancement for Joint Acoustic Echo Cancellation, Noise Suppression and Dereverberation
Microsoft Corp.（微软公司）
本文提出实时交叉注意力模型 DeepVQE，融合残差 CNN 与 RNN，联合完成 AEC、NS 和 DR，并在 ICASSP 2023 两项挑战赛非个性化赛道达到最先进性能，且已在 Microsoft Teams 实时验证。
2023-06-05 cs.CV cs.SD eess.AS
Learning Audio-Visual Dereverberation
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta AI（Meta人工智能基础人工智能研究院）
混响不仅降低了语音的质量，而且严重影响了自动语音识别的准确性。先前的工作尝试仅基于音频模态来去除混响。我们的想法是学习从视听观察中消除语音的回响。人类说话者周围的视觉环境揭示了关于房间几何形状，材料和扬声器位置的重要线索，所有这些都会影响精确的混响效果。我们介绍了视觉信息的音频去混响（VIDA），这是一种端到端的方法，可以根据观察到的单声道声音和视觉场景来学习消除混响。为了支持这一新任务，我们开发了一个大规模的数据集SoundSpaces-Speech，该数据集在提供各种室内声学效果的真实家庭3D扫描中使用逼真的语音声学渲染。演示我们的方法在模拟和真实图像的语音增强，语音识别，和说话人辨识，我们表明它达到了最先进的性能，并大大提高了纯音频的方法。
2023-03-13 cs.CV cs.LG cs.SD
Dereverberation Filter by Deconvolution with Frequency Bin Specific Faded Impulse Response
ResearchGate
本文提出了一种基于频域特定衰减的单通道去混响滤波器，通过盲估计混响时间比来优化脉冲响应，以提升信号清晰度。
2026-01-10 cs.SD eess.AS
Is Phase Really Needed for Weakly-Supervised Dereverberation ?
本文研究了弱监督消回声中回声相位的作用，发现其携带有限信息，排除后模型性能显著提升。
2025-11-20 cs.AI cs.SD eess.SP
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab（腾讯AI实验室）
本文旨在消除干扰说话人的语音，加性噪声，混响从嘈杂的多说话人的语音混合，有利于自动语音识别（ASR）后端。虽然最近提出的加权功率最小化无失真响应（WPD）波束形成器可以同时执行分离和去混响，但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”，通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失，包括复谱域尺度不变信噪比（C-Si-SNR）和幅度域均方误差（Mag-MSE），对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明，WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
Speech Dereverberation and Noise Reduction for both diffusive noise field and point noise source in Binaural Hearing Aids: Preliminary Version
Federal University of Technology – Paraná（巴拉那联邦技术大学）；Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
多通道维纳滤波器（MWF）及其变体已广泛应用于双耳助听器。然而，它的主要缺点是残余噪声的双耳线索的失真，改变了原始的声学场景，这对于听力受损的人来说是至关重要的。MWF-IC方法先前被提出用于联合语音去混响和降噪，保留扩散噪声场的耳间相干性（IC）。在这项工作中，我们提出了一个新的变化的MWF-IC的语音去混响和降噪，它保留了原始的空间特性的残留噪声的扩散场或点源。客观的测量和初步的心理声学实验表明，该方法是能够在感知上保持这两种类型的噪声的原始空间化，而没有显着的性能损失，在两个语音去混响和降噪。
2019-11-09 cs.SD eess.AS
Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院巴黎电信学院LTCI（注：LTCI为实验室名称，按要求提取到机构级别即巴黎电信学院及巴黎综合理工学院））；Graduate School of Engineering, Kyoto University（京都大学工学研究科）
针对失配条件下神经波束成形语音增强性能下降的问题，提出基于DNN估计的WPD波束成形以整合去混响去噪能力并支持运行时自适应，在多种声学条件下验证了其效果。
2024-10-30 cs.AI cs.LG cs.SD
Estimating & Mitigating the Impact of Acoustic Environments on Machine-to-Machine Signalling
Queen Mary University of London（伦敦玛丽女王大学）
在各种物联网和电信应用中传输声音数据的技术的进步导致了机器对机器空中声学信令的概念。在解码时，混响可能对这种机器对机器信号具有不利影响。人们已经研究了各种方法来对抗语音和音频信号中的混响效应，但尚不清楚它们对其他声音类型的推广效果如何。我们着眼于扩展这些模型，以促进机器对机器的声学信号。本研究探讨混响消除技术，以筛选出一种单通道混响抑制方法。为了应用所选择的去混响方法，提出了一种新的估计控制混响的声学参数的方法。最终算法的性能进行评估的质量指标，以及一个真正的机器到机器解码器的性能。我们证明了一个戏剧性的降低错误率为可听和超声波信号。
2019-08-13 cs.SD eess.AS eess.SP
Speech Dereverberation Using Nonnegative Convolutive Transfer Function and Spectro temporal Modeling
University of Oldenburg（奥尔登堡大学）；Volvo Car Corporation（沃尔沃汽车公司）
本文提出了两种单通道语音去混响方法，以提高在封闭空间中录制的语音信号的质量。对于这两种方法，使用卷积传递函数（NCTF）的非负近似来对房间声学进行建模，并且为了另外利用语音信号的频谱特性，诸如语音频谱图的低秩性质，使用非负矩阵分解（NMF）来对语音频谱图进行建模。两种方法来结合NCTF和NMF模型。在第一种方法中，称为集成方法，通过将语音NMF模型直接集成到NCTF模型中来构建成本函数，而在第二种方法中，称为加权方法，对基于NCTF和NMF的成本函数进行加权和求和。高效的更新规则，推导出解决这两个优化问题。此外，集成方法的扩展，它利用了时间的依赖性的语音信号。在有和没有背景噪声的混响语音信号上进行了几个实验，其中集成方法产生比基线NCTF方法和最先进的谱增强方法高得多的语音质量。此外，实验结果表明，加权的方法，甚至可以导致更好的性能方面的仪器质量的措施，但最佳的加权参数取决于室内声学和所使用的NMF模型。在集成方法中建模的时间依赖性被发现是有用的，只有高度混响的条件。
2017-09-16 cs.LG cs.SD
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Audio-Visual Speech Enhancement In Complex Scenarios With Separation And Dereverberation Joint Modeling
School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University（多模态智能系统苏州市级重点实验室、杜克昆山大学数字创新研究中心）；Hardware Engineering System, OPPO（OPPO硬件工程系统）
本文提出一种有效的音视频语音增强系统，通过设计“先分离后去混响”流程应对复杂声学环境，在第四届COGMHEAR挑战赛中取得客观指标优异并获主观测试第一名。
2025-10-29 cs.CV cs.MM cs.SD
Blind and neural network-guided convolutional beamformer for joint denoising, dereverberation, and source separation
NTT Corporation（日本电信电话公司）
本文提出了一种优化卷积波束形成器（CBF）的方法，可以联合执行去噪（DN），去混响（DR）和源分离（SS）。首先，我们开发了一个盲CBF优化算法，不需要先验信息的来源或房间声学，通过扩展传统的联合DR和SS方法。为了使优化计算易于处理，我们将两种技术的方法：源明智的分解（SW-事实）的CBF和独立向量提取（IVE）。为了进一步提高性能，我们开发了一种方法，集成了基于神经网络（NN）的源功率谱估计与CBF优化的逆伽玛先验。实验结果表明，该方法在提高自动语音识别性能和降低信号失真性能方面，大大优于传统的基于掩码的神经网络语音识别方法。
2021-08-04 cs.SD eess.AS eess.SP
Preserving the beamforming effect for spatial cue-based pseudo-binaural dereverberation of a single source
University of Engineering and Technology Peshawar（白沙瓦工程技术大学）；Qatar University（卡塔尔大学）
混响是不可避免的封闭，导致降低清晰度听力受损和非母语的听众，甚至为正常的听力听众在嘈杂的环境。它还降低了机器监听应用程序的性能。在本文中，我们提出了一种新的方法的双耳去混响的一个单一的语音源，利用直接路径信号和混响的双耳线索的差异。两个波束形成器，间隔在一个耳间的距离，用于提取混响语音的混响。由这些混响生成的耳间线索和由直接路径信号生成的耳间线索充当两类数据集，用于训练U-Net（深度卷积神经网络）。在其训练之后，波束形成器被移除，并且当系统暴露于混响语音信号的耳间频谱图时，训练的U-Net连同最大似然估计（MLE）算法一起用于区分直接路径线索与混响线索。该模型在倒谱距离（CEP）、频率加权分段信噪比（FWSEGSNR）和信号与混响调制能量比（SRMR）方面比经典的信号处理去混响模型加权预测误差分别提高了1.4个点、8 dB和0.6 dB。它比基于深度学习的去混响模型获得了更好的性能，在CEP中获得了1.3个点的改进，具有可比的FWSEGSNR，使用的训练数据集几乎比该模型所需的数据集小8倍。所提出的模型还保持其性能下相对类似的看不见的声学条件下，并在其训练位置附近的位置。
2022-08-10 cs.SD eess.AS
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
A Cold Diffusion Approach for Percussive Dereverberation
Department of Music Technology（音乐技术系）；Acoustics Hellenic Mediterranean University（声学希伯伦地中海大学）
本文提出冷扩散框架用于去混响立体鼓声，将混响视为确定性退化过程，通过UNet和扩散Transformer实现，实验表明在感知和信号指标上优于基线方法。
2026-05-11 cs.AI cs.SD
Dataset of Spatial Room Impulse Responses in a Variable Acoustics Room for Six Degrees-of-Freedom Rendering and Analysis
Aalto University（阿尔托大学）
从物理声学建模和语音增强到虚拟现实应用，室内声学测量被用于音频研究的许多领域。本文记录了在可变声学房间中测量空间房间脉冲响应（SRIR）数据集的技术规格和选择。使用两个球形麦克风阵列：mh Acoustics Eigenmike em 32和Zylia ZM-1，分别能够实现四阶和三阶高保真度立体声捕获。该数据集由三个源和七个接收器位置组成，重复了房间声学的五种配置，具有不同的混响水平。数据集的可能应用包括六自由度（6DoF）分析和渲染，SRIR插值方法和空间去混响技术。
2021-11-23 cs.SD eess.AS eess.SP
Joint NN-Supported Multichannel Reduction of Acoustic Echo, Reverberation and Noise
Invoxia SAS（Invoxia公司）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用研究实验室）
我们考虑的问题，同时减少声学回声，混响和噪声。在真实场景中，这些失真源可能同时发生，减少它们意味着组合相应的失真特定滤波器。由于这些过滤器相互作用，因此必须对其进行联合优化。我们建议使用多通道高斯建模框架对线性回波消除和去混响后的目标和残留信号进行建模，并通过神经网络联合表示它们的频谱。我们开发了一个迭代块坐标上升算法来更新所有的过滤器。我们评估我们的系统在各种情况下用智能扬声器获得的声学回声，混响和噪声的真实记录。所提出的方法优于整体失真的级联的个别方法和联合减少的方法，它不依赖于目标和残留信号的频谱模型。
2020-07-27 cs.LG cs.SD eess.AS
On the Use of Dereverberation for Acoustic Feedback Cancellation
KU Leuven（鲁汶大学）
本文证明在温和条件下，声学反馈信号可视为源信号的混响版本，从而将联合去混响和声学反馈消除问题简化为纯去混响问题，并通过仿真验证。
2026-05-29 eess.AS
How much to Dereverberate? Low-Latency Single-Channel Speech Enhancement in Distant Microphone Scenarios
L-Acoustics（法国音响品牌L-Acoustics）
本文研究5至10米远距离麦克风场景下的实时低延迟单通道语音增强，证明了其可行性，发现房间体积与混响时间关系对模拟房间脉冲响应很重要，并提出保留早期反射可提升整体信号质量。
2025-05-02 cs.LG cs.SD eess.AS
Dereverberation of Autoregressive Envelopes for Far-field Speech Recognition
College of Engineering, Thiruvananthapuram（特里凡得琅工程学院）；Indian Institute of Science（印度科学理工学院）
远场环境中的语音识别任务受到混响伪像的不利影响，混响伪像引起子带包络的时间拖尾。在本文中，我们开发了一个神经模型的语音去混响使用长期子带包络的语音。使用频域线性预测（FDLP）导出子带包络，该频域线性预测执行希尔伯特包络的自回归估计。神经去混响模型估计包络增益，该包络增益在应用于混响信号时抑制远场信号中的后期反射分量。去混响后的包络用于语音识别中的特征提取。此外，针对ASR的包络去混响、特征提取和声学建模中涉及的步骤序列可以被实现为单个神经处理流水线，其允许去混响网络和声学模型的联合学习。在REVERB挑战数据集、CHiME-3数据集和VOiCES数据集上进行了几个实验。在这些实验中，包络去混响和声学模型的联合学习产生了基于对数梅尔频谱图的基线ASR系统以及用于去混响的其他过去方法的显著性能改进（相对于基线系统的平均相对改进为10-24%）。文中还对包络去混响中超参数的选择和代价函数进行了详细的分析。
2021-08-13 cs.SD eess.AS eess.SP
VACE-WPE: Virtual Acoustic Channel Expansion Based On Neural Networks for Weighted Prediction Error-Based Speech Dereverberation
语音去混响是许多实际语音处理应用中的一个重要问题。在所开发的技术中，加权预测误差（WPE）算法在过去十年中已被广泛采用和改进，该算法从麦克风信号的混响混合物中盲目地消除后期混响分量。在这项研究中，我们扩展了基于神经网络的虚拟声道扩展（VACE）框架的WPE为基础的语音去混响，WPE的变体，我们最近提出了使双通道WPE算法在单麦克风语音去混响的情况下使用。基于之前的研究，在离线处理场景中对VACE-WPE的成分进行了一些消融研究。这些研究有助于了解系统的动态，从而简化架构，并引入新的策略来训练VCE的神经网络。在嘈杂的混响环境中的实验结果表明，VACE-WPE大大优于其单通道对应的客观语音质量和互补的单通道WPE时，作为前端的远场自动语音识别器。
2021-02-10 eess.AS
High Fidelity Speech Regeneration with Application to Speech Enhancement
Tel Aviv University（特拉维夫大学）
语音增强技术近年来取得了很大的进步，主要是通过去噪，说话人分离和去混响方法，主要是处理环境对声乐音频的影响。为了增强语音超出原始信号的限制，我们采取再生的方法，其中我们从语音的本质，包括半识别的语音，韵律特征，和身份重新创建的语音。我们提出了一个波到波的语音生成模型，可以生成24位语音在一个实时的方式，并利用一个紧凑的语音表示，组成的ASR和身份特征，以实现更高水平的可理解性。受语音转换方法的启发，我们进行训练以增强语音特征，同时使用辅助身份网络来保留源的身份。感知声学指标和主观测试表明，该方法获得了宝贵的改进，最近的基线。
2021-01-31 cs.LG cs.SD eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
语音去混响的一种有前途的方法是基于监督学习，其中训练深度神经网络（DNN）以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识，并且很少明确地利用混响中的线性滤波器结构，即，该混响由房间脉冲响应（RIR）和干源信号之间的线性卷积产生。在这项工作中，我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号，然后识别作为估计的直接路径信号的衰减和延迟副本的信号，因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响，也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本，我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器（或RIR）。然后，我们修改所提出的算法，在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB，SMS-WSJ，和WHAMR！数据集。
2021-11-10 cs.SD eess.AS
Blind Room Parameter Estimation Using Multiple-Multichannel Speech Recordings
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用研究所）
知道房间的几何和声学参数可以有益于诸如音频增强现实、语音去混响或音频取证之类的应用。在本文中，我们研究的问题，联合估计的总表面积，体积，以及频率相关的混响时间和平均表面吸收的房间在一个盲目的方式，基于双通道嘈杂的语音记录从多个，未知的源接收器的位置。提出了一种新的利用单通道和通道间线索的卷积神经网络架构，并在一个大型的、逼真的模拟数据集上进行了训练。模拟和真实数据的结果表明，在一个房间中使用多个观测值显着减少了所有目标量的估计误差和方差，使用两个通道有助于估计表面和体积。该模型优于最近提出的盲体积估计方法所考虑的数据集。
2021-07-29 cs.LG cs.SD eess.AS
Real-time speech enhancement with dynamic attention span
MSRA（微软亚洲研究院）
对于包括噪声抑制、混响消除和声学回声消除在内的实时语音增强（SE），音频信号的时变性成为一个严峻的挑战。因果关系和内存使用限制，只有历史信息可以用于系统捕获的时变特性。我们提出在基于SE模型的深度神经网络中根据输入信号自适应地改变感受野。具体地，在编码器-解码器框架中，向所有注意力模块引入动态注意力跨度机制，用于控制用于处理当前帧的历史内容的大小。实验结果表明，该动态机制能更好地跟踪时变因素，捕捉语音相关特征，有利于干扰去除和语音质量保持。
2023-02-21 cs.SD eess.AS
StuPASE: Towards Low-Hallucination Studio-Quality Generative Speech Enhancement
Nanjing University（南京大学）；Cisco Systems, Inc.（思科系统公司）；Horizon Robotics
提出StuPASE，基于PASE框架，通过使用干目标微调和流匹配模块替代GAN，在保持低幻觉的同时实现工作室级语音质量，优于现有方法。
2026-08-05 cs.AI cs.SD eess.AS
Dereverberation in Acoustic Sensor Networks Using Weighted Prediction Error With Microphone-dependent Prediction Delays
University of Oldenburg（奥尔登堡大学）；KU Leuven（荷语鲁汶大学）；Fraunhofer IDMT（弗劳恩霍夫工业医学研究所）
本文提出利用TDOA补偿实现麦克风依赖的预测延迟，以提升声学传感器网络中去混响效果。
2023-01-18 eess.AS
Treble10: A high-quality dataset for far-field speech recognition, dereverberation, and enhancement
Treble Technologies（Treble技术公司）；Hugging Face（Hugging Face公司）
Treble10是一个大规模物理精确的房间声学数据集，包含3000多个RIRs，通过混合模拟范式弥合测量与模拟的真实性差距，支持远场语音识别、去混响和增强任务的可复现评估与数据增强。
2025-10-27 cs.LG eess.AS
BRUDEX Database: Binaural Room Impulse Responses with Uniformly Distributed External Microphones
University of Oldenburg, Department of Medical Physics and Acoustics and Cluster of Excellence Hearing4all（奥尔登堡大学医学物理与声学系及卓越中心Hearing4all）
BRUDEX数据库提供了一种包含36个均匀分布麦克风和12个声源位置的双耳房间脉冲响应数据集，用于多麦克风信号处理任务，如降噪和回声消除。
2023-06-14 cs.SD eess.AS eess.SP
DriftSE: Speech Enhancement with Generative Drifting
Victoria University of Wellington（惠灵顿维多利亚大学）；GN Advanced Science（GN 前沿科学）；Lincoln University（林肯大学）
DriftSE提出一种基于生成漂移的单步语音增强框架，通过双潜在并行漂移同时保持语音可懂度和声学保真度，实现非配对训练，并在四个数据集上以1 NFE达到最先进的词错误率。
2026-09-14 cs.AI cs.SD eess.AS
ML Estimation and CRBs for Reverberation, Speech and Noise PSDs in Rank-Deficient Noise-Field
Bar-Ilan University（巴伊兰大学）
语音通信系统在混响和噪声声学环境中易于性能下降。去混响和降噪算法通常需要几个模型参数，例如语音、混响和噪声功率谱密度（PSD）。通常使用的假设是噪声PSD矩阵是已知的。然而，在实际的声学场景中，噪声PSD矩阵是未知的，并且应该与语音和混响PSD一起估计。在本文中，我们考虑秩亏噪声PSD矩阵的情况下，这是由多个定向干扰源，其数量小于麦克风的数量的噪声信号。我们得到两个封闭形式的最大似然估计（MLE）。第一种是联合估计语音、混响和噪声PSD的基于非块的估计器，第二种是基于块的估计器，其首先块化语音信号，然后联合估计混响和噪声PSD。这两种估计的解析比较和分析，均方误差（MSE）的表达式。此外，Cramer-Rao界（CRB）的估计PSD的推导。使用模拟和真实的混响和噪声信号，所提出的估计检查，证明所提出的方法相比，竞争估计的优势。
2020-01-27 cs.SD eess.AS
A two-stage speaker extraction algorithm under adverse acoustic conditions using a single-microphone
Bar-Ilan University（巴伊兰大学）；OriginAI
在这项工作中，我们提出了一个两阶段的方法，混响和噪声条件下的说话人提取。给定期望扬声器的参考信号，首先从噪声混合信号中提取干净但仍然混响的期望扬声器。在第二阶段中，通过联合去混响和残余噪声和干扰减少来进一步增强所提取的信号。所提出的架构包括两个子网络，一个用于提取任务，第二个用于去混响任务。我们提出了一个训练策略，这种架构，并表明，所提出的方法的性能是与其他国家的最先进的（SOTA）的方法时，适用于WHAMR！数据集。此外，我们提出了一个新的数据集更现实的不利的声学条件，并表明我们的方法优于竞争的方法时，应用到这个数据集以及。
2023-03-13 cs.SD eess.AS
Investigating Generative Adversarial Networks based Speech Dereverberation for Robust Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
我们研究了生成对抗网络（GANs）在语音去混响中的使用，以实现鲁棒的语音识别。最近已经研究了GANs用于语音增强以去除加性噪声，但是仍然缺乏研究它们在语音去混响中的能力的工作，并且使用GANs的优点还没有完全建立。在本文中，我们对ASR中基于GAN的去混响前端的使用进行了深入的研究。首先，我们研究了不同去混响网络（GAN中的生成器）的有效性，并发现LSTM在我们的数据集中与前馈DNN和CNN相比有显著的改进。其次，在深层LSTM中进一步添加剩余连接也可以提高性能。最后，我们发现，对于GAN的成功，重要的是在训练期间使用相同的小批量数据更新生成器和训练器。此外，使用混响声谱图作为一个条件，在以前的研究中建议，可能会降低性能。总之，当在强多条件训练声学模型上进行测试时，与基线DNN去混响网络相比，我们基于GAN的去混响前端实现了14%-19%的相对CER减少。
2018-10-25 cs.CL cs.SD eess.AS
Microphone Array Signal Processing and Deep Learning for Speech Enhancement
Paderborn University（帕德博恩大学）；NTT Corporation（NTT公司）
本文针对语音增强中最优空间滤波所需信号二阶统计矩难获取的问题，对比了基于模型、纯数据驱动及混合式三类参数估计与滤波方法，并通过降噪等实例阐释混合方法结合两类方法优势的设计原则。
2025-01-13 cs.SD eess.AS eess.SP
RDSE: Real-Time Directional Speech Enhancement Framework for Dual-Mic Commodity Smartphones
National Institute of Technology Jalandhar（贾朗达尔国家技术学院）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；IMC University of Applied Sciences（IMC应用科技大学）
针对移动设备视听变焦的限制，提出双麦克风智能手机的RDSE框架，结合信号处理与机器学习，解耦视觉交互与特征推理，经多维度验证性能与现有方法相当。
2026-10-20 cs.SD eess.AS
Improving Speech Enhancement Performance by Leveraging Contextual Broad Phonetic Class Information
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Chi Mei Hospital（奇美医院）；National Chi Nan University（国立暨南国际大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出利用端到端语音识别模型预测的上下文宽泛音类信息作为额外损失，通过多目标训练提升语音增强性能，实验证明其优于基于音素的方法。
2023-06-18 cs.LG cs.SD eess.AS
Neural Vocoder Feature Estimation for Dry Singing Voice Separation
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
歌唱声分离是将歌唱声从乐器声中分离出来的任务。以前的SVS研究主要采用了声谱图掩蔽方法，该方法在预测二进制掩码时需要很大的维数。此外，他们还专注于提取一个保留了混响效果的湿声的声干。这一结果可能会阻碍孤立的歌声的可重用性。本文通过预测混合音频中的干歌声的梅尔谱图作为神经声码器特征，并从神经声码器合成歌声波形来解决这个问题。我们尝试了两种分离方法。一种是在梅尔频谱图域中预测二进制掩码，另一种是直接预测梅尔频谱图。此外，我们增加了一个歌声检测器，以确定随着时间的推移更明确的歌声段。我们从音频、去混响、分离和整体质量方面测量了模型的性能。实验结果表明，该模型在客观和主观评价上均优于现有的歌唱声分离模型，但在音质评价上有较大的改进。
2022-11-29 cs.SD eess.AS
End-to-End Speech Recognition With Joint Dereverberation Of Sub-Band Autoregressive Envelopes
端到端（E2E）自动语音识别（ASR）系统通常需要在混响条件下操作，其中语音的长期子带包络在时间上模糊。在本文中，我们开发了一个功能增强的方法，使用神经模型的子带时间包络。时域包络建模使用频域线性预测（FDLP）的框架。本文提出的神经增强模型执行基于包络增益的时间包络增强。模型架构由卷积和长短期记忆（LSTM）神经网络层的组合组成。此外，使用基于Transformer的E2E ASR的包络去混响、特征提取和声学建模都可以针对语音识别任务联合优化。联合优化确保去混响模型以ASR代价函数为目标。我们在REVERB挑战数据集和VOiCES数据集上进行E2E语音识别实验。在这些实验中，与基线E2E ASR系统相比，所提出的联合建模方法产生了显著的改进（在REVERB挑战数据集上平均相对改进21%，在VOiCES数据集上平均相对改进约10%）。
2022-02-18 eess.AS
Open-loop multi-channel inversion of room impulse response
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文考虑的方法，音频显示在一个洞穴型虚拟现实影院，一个3米立方体的显示器覆盖所有六个刚性面。头戴式耳机是可能的，因为用户的头戴式耳机连续测量耳朵的位置，但扬声器是优选的，因为它们增强了完全沉浸的感觉。所提出的解决方案包括开环声学点控制。传递函数是从扬声器到用户耳朵的房间频率响应的矩阵，使用多通道反演方法进行反演，以在用户耳朵处精确地创建所需的声场。逆传递函数由镜像源法模拟的脉冲响应构造而成。该技术通过测量2x2矩阵传递函数、模拟具有相同几何形状的传递函数以及通过模拟的逆滤波测量的传递函数来验证。由于图像源方法的精度随时间而降低，因此通过在反演之前对模拟响应加窗来改善反演性能。调整模拟和反演的参数以使残余混响能量最小化;最佳情况下的去混响比为10 dB。
2011-06-06 cs.SD
Task-specific Optimization of Virtual Channel Linear Prediction-based Speech Dereverberation Front-End for Far-Field Speaker Verification
开发一个单麦克风语音去噪或去混响前端，用于在嘈杂的远场说话场景中进行鲁棒的自动说话人确认（ASV）是具有挑战性的。为了解决这个问题，我们提出了一种新的前端设计，涉及最近提出的扩展加权预测误差（WPE）语音去混响算法，虚拟声道扩展（VACE）-WPE。在这项研究中，实验表明，与传统的WPE算法，VACE-WPE可以明确地训练，以消除后期混响和背景噪声。为了构建前端，VACE-WPE首先被独立地（预）训练以产生“噪声”去混响信号。随后，给定预训练的说话人嵌入模型，VACE-WPE在特定任务优化（TSO）框架内进行额外微调，使得从处理后的信号中提取的说话人嵌入与从“无噪声”目标信号中提取的说话人嵌入相似。此外，为了将所提出的前端的应用扩展到更一般的、不受约束的“野外”ASV场景，超出受控远场条件，我们提出了TSO框架内的VACE-WPE的失真正则化方法。在远场和野外ASV基准测试中验证了所提出方法的有效性，证明了其在各种情况下优于全神经前端和其他TSO方法。
2021-12-27 eess.AS
Meta-AF: Meta-Learning for Adaptive Filters
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
自适应滤波算法在整个信号处理中是普遍存在的，并且对包括音频处理、电信、生物医学感测、天体物理学和宇宙学、地震学等在内的各种领域产生了重大影响。自适应滤波器通常通过专门的在线迭代优化方法（如最小均方或递归最小二乘）进行操作，旨在处理未知或非平稳环境中的信号。然而，这样的算法开发起来可能缓慢而费力，需要领域专业知识来创建，并且需要数学洞察力来改进。在这项工作中，我们寻求改进手工自适应滤波器算法，并提出了一个全面的框架，用于在线学习，自适应信号处理算法或直接从数据中更新规则。为此，我们将自适应滤波器的开发框架为深度学习背景下的元学习问题，并使用一种自我监督的形式来学习自适应滤波器的在线迭代更新规则。为了证明我们的方法，我们专注于音频应用和系统地开发元学习自适应滤波器的五个典型的音频问题，包括系统辨识，声学回声消除，盲均衡，多通道去混响，和波束形成。我们将我们的方法与常见的基线和/或最新的最先进的方法进行比较。我们表明，我们可以学习实时操作的高性能自适应滤波器，并且在大多数情况下，它们的性能明显优于我们比较的每种方法-所有这些方法都使用我们方法的单一通用配置。
2022-11-21 cs.SD eess.AS eess.SP
ICASSP 2023 Deep Noise Suppression Challenge
Microsoft Corporation（微软公司）
该挑战赛旨在开发联合降噪、去混响和抑制干扰说话者的深度语音增强模型，设置耳机和免提两个赛道，最佳模型得分分别提升0.145和0.141。
2023-05-09 cs.SD eess.AS
LipsAM: Lipschitz-continuous Neural Networks for Convergent Plug-and-Play Audio Signal Recovery
Tokyo University of Agriculture and Technology（东京农工大学）
本文针对现有理论框架无法适配音频处理常用DNN的问题，提出利普希茨连续的LipsAM架构，开发其利普希茨常数评估框架，并将其应用于即插即用音频恢复，实现了可收敛的语音去混响算法。
2026-08-25 cs.SD
Acoustic Teleportation via Disentangled Neural Audio Codec Representations
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
本文提出基于EnCodec的解纠缠神经音频编解码器表示方法，实现声学传送，在保留内容与说话人身份的同时转移房间特征，ScoreQ达3.03，并通过t-SNE验证解纠缠效果。
2025-10-15 eess.AS
Acoustic modeling for Overlapping Speech Recognition: JHU Chime-5 Challenge System
本文针对CHiME-5挑战赛的高度重叠多通道晚宴语音识别任务，探索多种声学建模相关技术并对比内部实现与公开工具，最终开发集词错率较基线绝对提升11.7%，还发布了改进的高级CHiME-5配方。
2024-05-17 eess.AS
