ADL-MVDR: All deep learning MVDR beamformer for target speech separation
语音分离算法通常用于将目标语音从其他干扰源中分离出来。然而，基于纯神经网络的语音分离系统经常导致非线性失真，这对于自动语音识别（ASR）系统是有害的。传统的基于掩模的最小方差无失真响应（MVDR）波束形成器可以用来最小化失真，但伴随着高水平的残留噪声。此外，矩阵运算（例如，矩阵求逆）在与神经网络联合训练时有时在数值上不稳定。在本文中，我们提出了一种新的全深度学习MVDR框架，其中矩阵求逆和特征值分解由两个递归神经网络（RNN）代替，以同时解决这两个问题。该方法利用RNN预测的帧间波束形成权值，在保持目标语音不失真的同时，大大降低了残余噪声。该系统是评估的普通话视听语料库和比较几个国家的最先进的（SOTA）语音分离系统。实验结果表明，该方法在几个客观指标和ASR准确性的优越性。
2021-02-09 eess.AS
Convolutive Prediction for Reverberant Speech Separation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
我们调查的有效性卷积预测，一种新的制定线性预测语音去混响，在混响条件下的扬声器分离。其关键思想是首先使用深度神经网络（DNN）来估计每个扬声器的直接路径信号，然后识别估计的直接路径信号的延迟和衰减副本。这样的副本可能是由于混响，并且可以直接移除以进行去混响，或者用作另一个DNN的额外特征以执行更好的去混响和分离。为了识别这样的副本，我们解决了一个线性回归问题，有效地在时间-频率（T-F）域中的频率，以估计潜在的房间脉冲响应（RIR）。在多通道扩展中，我们对卷积预测的输出执行最小方差无失真响应（MVDR）波束成形。波束成形和去混响结果用作第二DNN的额外特征，以执行更好的分离和去混响。国家的最先进的结果上获得的SMS-WSJ语料库。
2021-08-16 cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Audio-visual Multi-channel Recognition of Overlapped Speech
Tencent AI Lab（腾讯人工智能实验室）
重叠语音的自动语音识别（ASR）至今仍是一项极具挑战性的任务。为此，多通道麦克风阵列数据被广泛用于最先进的ASR系统中。基于视觉模态对声信号失真的不变性，提出了一种分离前端和识别后端紧密结合的视听多通道重叠语音识别系统。开发了一系列基于\textit{TF masking}、\textit{filter\&sum}和\textit{mask-based MVDR}波束形成方法的视听多通道语音分离前端组件。为了减少分离和识别组件之间的错误成本不匹配，它们使用连接主义时间分类（CTC）损失函数或具有尺度不变信噪比（Si-SNR）错误成本的多任务标准插值进行联合微调。实验结果表明，该多通道AVSR系统在使用唇读句子2（LRS 2）数据集的模拟和重放构建的重叠语音上，其绝对词错误率（WER）分别比基线纯音频ASR系统降低了6.81%（相对值为26.83%）和22.22%（相对值为56.87%）.
2020-11-18 cs.CL cs.SD eess.AS
Deep Multi-Frame MVDR Filtering for Binaural Noise Reduction
University of Oldenburg（奥尔登堡大学）
为了提高噪声环境下的语音清晰度和语音质量，头戴式助听器的双耳降噪算法至关重要。已经提出了几种双耳降噪算法，例如众所周知的双耳最小方差无失真响应（MVDR）波束形成器，其利用目标语音和噪声分量两者的空间相关性。此外，对于单麦克风场景，已经提出了诸如多帧MVDR（MFMVDR）滤波器的多帧算法，其利用时间而不是空间相关性。在这方面的贡献，我们提出了一个双耳扩展的MFMVDR滤波器，它利用空间和时间的相关性。双耳MFMVDR滤波器嵌入在端到端深度学习框架中，其中所需的参数，即语音空间-时间相关向量以及（逆）噪声空间-时间协方差矩阵通过时间卷积网络（TCN）来估计，所述时间卷积网络通过最小化平均频谱绝对误差损失函数来训练。包括在-5 dB到20 dB的信噪比下测量的双耳房间脉冲和不同噪声源的仿真结果表明，利用双耳MFMVDR滤波器结构优于直接估计具有TCN的双耳多帧滤波器系数。
2022-11-14 cs.SD eess.AS
Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation
Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Università Politecnica delle Marche（马尔凯理工大学）
本研究针对混响及噪声混响场景下多说话人ASR的前端语音分离问题，探究多通道分离方法与SSLR特征，提出结合TF-GridNet复谱映射和WavLM SSLR的训练策略，大幅降低词错误率。
2023-07-23 cs.CL cs.SD eess.AS
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
Multi-microphone Complex Spectral Mapping for Utterance-wise and Continuous Speech Separation
The Ohio State University（俄亥俄州立大学）
我们提出了多麦克风复频谱映射，这是一种将深度学习应用于时变非线性波束成形的简单方法，用于混响条件下的扬声器分离。我们的目标是扬声器分离和去混响。我们的研究首先调查离线的话语明智的说话人分离，然后扩展到块在线连续语音分离（CSS）。假设训练和测试之间的阵列几何形状是固定的，我们训练深度神经网络（DNN）来预测目标语音在参考麦克风处的实部和虚部（RI）分量。然后，我们将多麦克风复频谱映射与最小方差无失真响应（MVDR）波束成形和后滤波相结合，以进一步改善分离，并将其与用于块在线CSS的帧级扬声器计数相结合。虽然我们的系统是基于以给定几何形状排列的固定数量的麦克风在模拟房间脉冲响应（RIR）上训练的，但它可以很好地推广到具有相同几何形状的真实阵列。在模拟的两个说话人SMS-WSJ语料库和真实记录的LibriCSS数据集上获得了最先进的分离性能。
2021-05-24 cs.CL cs.SD eess.AS
Joint Learning of Covariance Estimation and White Noise Gain for Robust MVDR Beamforming
School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Dolby Laboratories（Dolby实验室）；CIAIC, Northwestern Polytechnical University（中国航空工业第一研究所）；INRS-EMT, University of Quebec（魁北克大学INRS-EMT）
提出数据驱动MVDR框架，通过深度神经网络联合估计时频噪声掩码和频率相关WNG阈值，实现动态鲁棒性-指向性控制，端到端优化提升语音质量和可懂度。
2026-06-24 cs.SD eess.AS
Multi-Talker MVDR Beamforming Based on Extended Complex Gaussian Mixture Model
在这封信中，我们提出了一种新的多说话人最小方差无失真响应（MVDR）波束形成的前端的自动语音识别（ASR）系统在晚宴的情况下。选择CHiME-5数据集来评估我们针对具有严重噪声的重叠多说话者场景的提议。基于提出的扩展复高斯混合模型（CGMM），结合各种语音分离和语音增强模板，对波束形成进行了详细的研究。对多通话者场景采用原始的基于CGMM的MVDR进行了三个主要更改。首先，高斯分布的数量扩展到3个额外的推理说话人模型。其次，引入混合系数作为监督器，以生成更精细的掩码，避免置换问题。此外，我们重新组织的MVDR和基于掩码的语音分离，以实现降噪和目标说话人提取。使用官方基线ASR后端，与基线前端相比，我们的前端算法获得了13.87%的绝对WER降低。
2019-10-17 eess.AS
Improved MVDR Beamforming Using LSTM Speech Models to Clean Spatial Clustering Masks
The Graduate Center, City University of New York（纽约市立大学研究生中心）；Brooklyn College, City University of New York（纽约市立大学布鲁克林学院）
空间聚类技术可以在相对任意的麦克风配置上实现显著的多通道降噪，但难以结合详细的语音/噪声模型。相比之下，LSTM神经网络已经成功地被训练成在单通道输入上从噪声中识别语音，但很难充分利用多通道记录中的信息。本文结合这两种方法，训练LSTM语音模型来清理基于模型的EM声源分离和定位（MESSL）空间聚类方法生成的掩码。通过这样做，它既获得了多通道空间聚类的空间分离性能和通用性，又获得了多个并行单通道LSTM语音增强器的信号建模性能。我们的实验表明，当我们的系统被应用到CHiME-3数据集的嘈杂的平板电脑录音，它提高了语音质量的感知评价语音质量（PESQ）算法测量，并降低了字出错率的基线CHiME-3语音识别器，相比默认的BeamformIt波束形成器。
2020-12-02 cs.LG cs.SD eess.AS
An Effective Dereverberation Algorithm by Fusing MVDR and MCLP
在有混响的场景中，人机交互的体验会变差。为了解决这个问题，出现了许多去混响的方法。目前，在现有的基于多声道线性预测（MCLP）的混响消除方法中，如何更新卡尔曼滤波器的参数是一个具有挑战性的课题，尤其是目标语音的功率谱密度（PSD）的精确估计。本文将最小方差无失真响应（MVDR）波束形成器和MCLP算法有效地融合在去混响中，其中MCLP算法对用于卡尔曼滤波器的目标语音功率谱密度进行了修正。为了构造一个MVDR波束形成器，后期混响的PSD和噪声的PSD估计同时基于块的PSD估计。因此，用于卡尔曼滤波器的目标语音的PSD可以通过从观测信号的PSD中减去后期混响的PSD和噪声的PSD来获得。与参考方法相比，该方法表现出突出的性能。
2022-03-28 eess.AS
IsoNet: Face-Guided Speech Extraction for Compact Microphone Arrays
Department of Electronics and Computer Engineering, Thapathali Campus, Institute of Engineering, Tribhuvan University（电子与计算机工程系，Thapathali校区，工程学院，塔波胡万大学）
IsoNet通过结合多通道STFT特征、GCC-PHAT空间线索和面部条件视觉嵌入，实现了在紧凑麦克风阵列上的目标语音提取，其在复杂声学环境中的性能优于传统方法。
2026-10-30 cs.LG cs.SD
Deep Multi-Frame MVDR Filtering for Single-Microphone Speech Enhancement
用于单麦克风语音增强的多帧算法，例如，多帧最小方差无失真响应（MFMVDR）滤波器能够在短时傅里叶变换（STFT）域中利用相邻时间帧上的语音相关性。提供所需的语音帧间相关向量和噪声相关矩阵的准确估计是可用的，它已被证明，MFMVDR滤波器产生大量的噪声减少，而几乎不引入任何语音失真。为了融合MFMVDR滤波器的语音增强潜力和时间卷积网络（TCN）的估计能力，本文提出将MFMVDR滤波器嵌入深度学习框架中。TCN被训练为通过最小化MFMVDR滤波器输出处的尺度不变信号失真比损失函数来将有噪语音STFT系数映射到所需的量。实验结果表明，提出的深度MFMVDR滤波器在深度噪声抑制挑战数据集上实现了有竞争力的语音增强性能。特别地，结果表明，估计MFMVDR滤波器的参数在PESQ和STOI方面比直接估计多帧滤波器或单帧掩模以及比Conv-TasNet产生更高的性能。
2020-11-20 eess.AS eess.SP
Beam-Guided TasNet: An Iterative Speech Separation Framework with Multi-Channel Output
时域音频分离网络（TasNet）在盲源分离（BSS）中取得了显著的效果。经典的多通道语音处理框架采用信号估计和波束形成。例如，Beam-TasNet将多通道卷积TasNet（MC-Conv-TasNet）与最小方差无失真响应（MVDR）波束成形相连接，这利用了数据驱动网络的强大建模能力，并通过准确估计语音统计来提高波束成形的性能。这种集成可以被看作是一个有向无环图，通过接受多通道输入和生成多源输出。本文设计了一个多通道输入、多通道多源输出（MIMMO）的语音分离系统--“Beam-Guided TasNet”，其中MC-Conv-TasNet和MVDR在有向循环流的作用下可以更紧密地相互作用和促进。具体地说，第一阶段使用Beam-TasNet来生成估计的单扬声器信号，这有利于第二阶段的分离。所提出的框架有利于迭代信号细化与波束成形的指导下，并寻求达到上限的MVDR为基础的方法。在空间化WSJ 0 - 2 MIX上的实验结果表明，Beam-Guided TasNet实现了21.5 dB的SDR，在相同的模型大小下超过基线Beam-TasNet 4.1 dB，并将与基于oracle信号的MVDR的差距缩小到2 dB。
2022-04-12 eess.AS
Attention-Based Beamformer For Multi-Channel Speech Enhancement
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
针对传统基于掩码的MVDR波束形成器因假设声源平稳而在移动声源场景下性能下降的问题，提出结合注意力机制、原位卷积和频率无关LSTM的端到端SCM估计方法，以更少计算量和参数实现更优的多通道语音增强效果。
2024-09-13 cs.SD eess.AS
Unsupervised Improved MVDR Beamforming for Sound Enhancement
Université de Sherbrooke（谢尔布鲁克大学）；Google Research（谷歌研究院）
本文提出无监督改进型MVDR波束形成方法UIMVDR，通过无监督训练利用单通道数据实现多通道声音分离，在监督数据有限时优于监督模型并减少数据收集成本。
2024-10-01 cs.SD eess.AS
Unsupervised Speech Enhancement Based on Multichannel NMF-Informed Beamforming for Noise-Robust Automatic Speech Recognition
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文介绍了多通道语音增强，以提高自动语音识别（ASR）在嘈杂的环境。最近，最小方差无失真响应（MVDR）波束形成得到了广泛的应用，因为它工作良好，如果语音的导向矢量和噪声的空间协方差矩阵（SCM）是给定的。为了估计这样的空间信息，传统的研究采用监督方法，该方法通过训练深度神经网络（DNN）将每个时频（TF）仓分类为噪声或语音。然而，在未知噪声环境中，ASR的性能下降。为了解决这个问题，我们采取了一种无监督的方法，通过使用多通道非负矩阵分解（MNMF）将每个TF bin分解为语音和噪声的总和。这使我们能够准确地估计SCM的语音和噪声，而不是从观察到的嘈杂的混合物，但从分离的语音和噪声成分。在本文中，我们提出了在线MVDR波束形成有效地初始化和增量更新的参数MNMF。另一个主要贡献是全面研究由各种类型的空间滤波器获得的ASR的性能，即，MVDR波束形成器的时不变和变化版本以及秩1和满秩多通道维纳滤波器的时不变和变化版本，与MNMF组合。实验结果表明，在与训练数据不匹配的未知环境中，该方法的性能优于基于DNN的波束形成方法。
2019-03-31 cs.LG cs.SD eess.AS
Subspace Hybrid Beamforming for Head-worn Microphone Arrays
提出了一种两阶段多通道语音增强方法，该方法由一种新的自适应波束形成器、混合最小方差无失真响应（MVDR）、各向同性MVDR（Iso）和一种新的多通道谱主成分分析（PCA）去噪组成。在第一阶段，混合MVDR使用预定义的噪声场模型的字典执行多个MVDR，并选择最小功率结果，这得益于信号无关波束形成的鲁棒性和自适应波束形成的性能。在第二阶段，混合和ISO的结果联合使用在一个基于PCA的双通道去噪，以消除由混合波束形成器产生的“音乐噪声”。在头戴式阵列的真实“鸡尾酒会”录音数据集上，所提出的方法在噪声抑制（fwSegSNR，SDR，SIR，SAR）和语音清晰度（STOI）方面优于基线超定向波束形成器，并具有类似的语音质量（PESQ）改善。
2023-03-15 eess.AS eess.SP
Deep Learning-Based Joint Control of Acoustic Echo Cancellation, Beamforming and Postfiltering
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
我们介绍了一种新的方法，用于控制免提语音通信设备，其中包括基于模型的声学回声消除器（AEC），最小方差无失真响应（MVDR）波束形成器（BF）和频谱后置滤波器（PF）的功能。在AEC去除早期回波分量的同时，MVDR BF和PF抑制残余回波和背景噪声。作为关键创新，我们建议使用单个深度神经网络（DNN）来联合控制各种算法组件的自适应。这允许在存在高电平干扰双端通话的情况下快速收敛和高稳态性能。使用时域语音提取损失函数的DNN的端到端训练避免了单独控制策略的设计。
2022-08-10 cs.SD eess.AS
Deep Multi-Frame Filtering for Hearing Aids
本文针对助听器低延迟场景，比较了深度滤波、MF-MVDR和MF-WF等多帧滤波方法，评估不同协方差估计，证明基于MVDR/WF的方法优于直接DF估计，显著提升性能并改善运行效率。
2023-05-14 eess.AS
Transformer-based Neural Beamforming for Real-Time Speech Enhancement on Smart Low-Power Hearable Devices
University of Bologna（博洛尼亚大学）
提出一种在低功耗MCU上实时运行基于Transformer的MVDR神经波束成形方法，通过混合精度与时间切片实现15毫秒延迟，达到高语音质量并显著延长电池寿命。
2026-09-29 cs.AI cs.SD eess.AS
Spatial Audio Signal Enhancement: A Multi-output MVDR Method in The Spherical Harmonic-domain
针对空间音频增强中现有方法假设过强、适用性有限的问题，提出基于 ReHCs 的 SH 域多输出 MVDR 增强器，在混响仿真中取得更低误差、更高 SDR 和相当 NR。
2025-08-30 eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London（伦敦帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种两阶段多通道语音增强算法，结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性，通过混合波束形成器和宽带子空间后置滤波器，在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
Multi-Channel Speech Enhancement using Graph Neural Networks
Facebook Reality Labs Research（Facebook Reality Labs 研究院）
多通道语音增强的目的是使用从多个麦克风捕获的信号从噪声混合物中提取干净的语音。最近提出的方法通过将深度神经网络模型与诸如最小方差无失真响应（MVDR）波束形成器的空间滤波技术相结合来解决这个问题。在本文中，我们介绍了一个不同的研究方向，通过查看每个音频通道作为一个节点躺在一个非欧几里德空间，具体来说，一个图形。这个公式允许我们应用图神经网络（GNN）来找到不同通道（节点）之间的空间相关性。我们利用图卷积网络（GCN），将它们纳入嵌入空间的U-Net架构。我们使用LibriSpeech数据集和模拟室内声学数据，使用不同的阵列类型和麦克风数量对我们的方法进行广泛的实验。结果表明，我们的方法相比，现有国家的最先进的方法的优越性。
2021-02-13 cs.SD eess.AS
Listen first: Output-based multi-microphone speech enhancement
Aalborg University（奥尔堡大学）；Eriksholm Research Centre（埃里克舍姆研究中心）
研究针对传统助听器语音增强算法在复杂场景中特征提取不可靠的问题，提出基于输出特性确定声音处理系统设置的范式，采用基于输出的MPDR波束形成器系统，实验证明该系统在多指标上优于传统MVDR基线。
2026-07-15 eess.AS
Multichannel Speech Enhancement without Beamforming
Facebook Reality Labs Research（Facebook现实实验室研究部）
深度神经网络通常与传统的空间滤波器耦合，例如MVDR波束形成器，用于有效地利用空间信息。尽管单级端到端监督模型可以获得令人印象深刻的增强，但将它们与传统的波束形成器和基于DNN的后置滤波器结合在多级处理中可以提供额外的改进。在这项工作中，我们提出了一个两阶段的多通道语音增强策略，不需要一个传统的波束形成额外的性能。首先，我们提出了一种新的注意密集卷积网络（ADCN）估计的实部和虚部的复频谱。ADCN在单级模式中获得了最先进的结果。接下来，我们使用ADCN与最近提出的三路径注意递归网络（TPARN）估计波形样本。拟议的战略使用两种见解;第一，在两个阶段使用不同的方法;第二，在第一阶段使用更强大的模型。我们说明了我们的策略的有效性，通过评估多个模型在两个阶段的方法，有和没有传统的波束形成器。
2022-04-06 cs.SD eess.AS
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology（格拉茨技术大学）；Ruperts Karls University（海德堡大学）
虽然机器学习技术传统上是资源密集型的，但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中，我们提供了一种基于深度神经网络（DNN）的多通道语音增强的资源高效方法。特别是，我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应（MVDR）或广义特征值（GEV）波束形成器。在二进制权重和精度降低的激活的极端情况下，可以显著减少执行时间和内存占用，同时仍然获得几乎与单精度DNN相当的音频质量，并且使用WSJ0语音语料库的单个说话者场景的字错误率（WER）略高。
2020-07-22 cs.LG cs.SD eess.AS
ABSE-NET: A Lightweight Neural Model for Active Binaural Speech Enhancement in Open-Fit Hearing Aids
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；College of Electronic and Information Engineering, Inner Mongolia University（内蒙古大学电子与信息工程学院）
本文针对开放式助听器的声泄漏问题，提出将ANC与BSE结合的轻量级ABSE-NET框架，级联BMVDR与带特征融合模块的LNN，无需入耳麦克风，性能优于现有最先进方法。
2026-09-02 cs.SD eess.AS
DNN-Free Low-Latency Adaptive Speech Enhancement Based on Frame-Online Beamforming Powered by Block-Online FastMNMF
RIKEN（理化学研究所）；Kyoto University（京都大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；National Institute of Advanced Industrial Science and Technology (AIST)（国立先进工业科学技术研究所（AIST））
本文描述了一种实用的双处理语音增强系统，该系统采用环境敏感的帧在线波束形成（前端），并帮助无环境的块在线源分离（后端）。为了使用最小方差无失真响应（MVDR）波束成形，可以训练深度神经网络（DNN），该深度神经网络估计用于计算源（语音和噪声）的协方差矩阵的时频掩模。提出了一种基于反向传播的DNN运行时自适应算法，用于处理训练-测试条件不匹配的情况。相反，人们可以尝试用称为快速多通道非负矩阵分解（FastMNMF）的最先进的盲源分离方法来直接估计源协方差矩阵。然而，在实践中，DNN和FastMNMF都不能以帧在线方式更新，这是由于其计算昂贵的迭代性质。我们的无DNN系统利用块在线FastMNMF给出的最新源频谱图的后验来推导当前源协方差矩阵，用于帧在线波束形成。评估表明，我们的帧在线系统可以快速响应由干扰扬声器移动引起的场景变化，并且在字错误率方面优于现有的基于DNN的波束成形的块在线系统5.0个点。
2022-07-22 cs.SD eess.AS
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH（Nuance通讯有限公司）；Nuance Communications Inc.（Nuance通讯公司）；Nuance Communications S.A.（Nuance通讯股份公司）
当提供足够大的远场训练数据时，联合优化多通道前端和端到端（E2E）自动语音识别（ASR）后端显示出有希望的结果。最近的文献表明，传统的波束形成器设计，如MVDR（最小方差无失真响应）或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中，我们提出了自注意通道组合器（SACC）ASR前端，它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明，与最先进的基于固定波束形成器的前端相比，SACC实现了9.3%的WERR，两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接，并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
Audio-visual Multi-channel Integration and Recognition of Overlapped Speech
在过去的几十年中，自动语音识别（ASR）技术已经得到了显著的进步。然而，重叠语音的识别仍然是一个极具挑战性的任务。为此，多通道麦克风阵列数据被广泛用于当前ASR系统中。基于视觉模态对声信号失真的不变性以及它们提供的将目标说话人从干扰声源中分离出来的额外线索，本文提出了一种基于视听多通道的重叠语音识别系统。它得益于语音分离前端和识别后端之间的紧密集成，两者都包含额外的视频输入。提出了一系列基于TF掩蔽、Filter&Sum和MVDR神经通道集成的音视频多通道语音分离前端组件。为了减少分离和识别组件之间的错误成本不匹配，整个系统使用多任务标准插值的尺度不变的信噪比（Si-SNR）与连接主义时间分类（CTC），或无格最大互信息（LF-MMI）损失函数进行联合微调。实验表明：所提出的视听多通道识别系统在使用LRS 2数据集的模拟或重放构建的重叠语音上分别优于基线仅音频多通道ASR系统高达8.04%（相对31.68%）和22.86%（相对58.51%）的绝对WER降低。一致的性能改善，也得到了使用建议的视听多通道识别系统时，使用被遮挡的视频输入与面部区域随机覆盖高达60%。
2021-08-30 eess.AS
Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院巴黎电信学院LTCI（注：LTCI为实验室名称，按要求提取到机构级别即巴黎电信学院及巴黎综合理工学院））；Graduate School of Engineering, Kyoto University（京都大学工学研究科）
针对失配条件下神经波束成形语音增强性能下降的问题，提出基于DNN估计的WPD波束成形以整合去混响去噪能力并支持运行时自适应，在多种声学条件下验证了其效果。
2024-10-30 cs.AI cs.LG cs.SD
Spatial Processing Front-End For Distant ASR Exploiting Self-Attention Channel Combinator
Nuance Communications Inc.（Nuance通信公司）；Nuance Communications GmbH（Nuance通信有限责任公司）；Imperial College London（帝国理工学院）
我们提出了一种新的多通道前端的基础上，信道缩短与加权预测误差（WPE）的方法，其次是一个固定的MVDR波束形成器结合使用最近提出的自关注为基础的信道组合（SACC）计划，为解决遥远的ASR问题。我们表明，所提出的系统用作基于ContextNet的端到端（E2E）ASR系统的一部分，优于领先的ASR系统，如多通道LibriSpeech回放数据集上的相对WER降低21.6%所示。我们还展示了如何去混响波束成形之前是有益的，并比较WPE方法与修改后的神经通道缩短方法。对信号C50的非侵入式估计的分析证实，8通道WPE方法提供了信号的显著去混响（13.6dB改进）。我们还展示了SACC系统的权重如何允许提取准确的空间信息，这可以有利于其他语音处理应用程序，如日记。
2022-03-25 cs.AI eess.AS
