Subspace Hybrid Beamforming for Head-worn Microphone Arrays
提出了一种两阶段多通道语音增强方法，该方法由一种新的自适应波束形成器、混合最小方差无失真响应（MVDR）、各向同性MVDR（Iso）和一种新的多通道谱主成分分析（PCA）去噪组成。在第一阶段，混合MVDR使用预定义的噪声场模型的字典执行多个MVDR，并选择最小功率结果，这得益于信号无关波束形成的鲁棒性和自适应波束形成的性能。在第二阶段，混合和ISO的结果联合使用在一个基于PCA的双通道去噪，以消除由混合波束形成器产生的“音乐噪声”。在头戴式阵列的真实“鸡尾酒会”录音数据集上，所提出的方法在噪声抑制（fwSegSNR，SDR，SIR，SAR）和语音清晰度（STOI）方面优于基线超定向波束形成器，并具有类似的语音质量（PESQ）改善。
2023-03-15 eess.AS eess.SP
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种方法来估计卷积波束形成器，可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差（WPE）方法的去混响的应用，然后基于最小方差无失真响应（MVDR）波束形成器的去噪，传统上被认为是有前途的方法，然而，不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成，我们提出了一种方法，该方法将WPE去混响方法和MVDR波束形成器的变体，即最小功率无失真响应（MPDR）波束形成器，合并为单个卷积波束形成器，并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应（WPD）波束形成器。实验结果表明，该方法在客观语音增强指标和自动语音识别（ASR）性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
Generalized Spatio-Temporal RNN Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）；Indiana University（印第安纳大学）
传统的基于掩码的最小方差无失真响应（MVDR）方法虽然可以减小非线性失真，但MVDR分离语音的残余噪声水平仍然很高。在本文中，我们提出了一个时空递归神经网络波束形成器（RNN-BF）的目标语音分离。这种新的波束形成框架直接从估计的语音和噪声空间协方差矩阵学习波束形成权重。利用RNN的时间建模能力，RNN-BF可以自动累积语音和噪声协方差矩阵的统计信息，以递归方式学习帧级波束成形权重。提出了一种基于RNN的广义特征值波束形成器（RNN-GEV）和一种更广义的RNN波束形成器（GRNN-BF）。我们通过使用层归一化来代替协方差矩阵上常用的掩码归一化，进一步改进了RNN-GEV和GRNN-BF。所提出的GRNN-BF在语音质量（PESQ）、语音噪声比（SNR）和字出错率（WER）方面获得了优于现有技术的性能。
2021-04-03 cs.SD eess.AS
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London（伦敦帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种两阶段多通道语音增强算法，结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性，通过混合波束形成器和宽带子空间后置滤波器，在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
Listen first: Output-based multi-microphone speech enhancement
Aalborg University（奥尔堡大学）；Eriksholm Research Centre（埃里克舍姆研究中心）
研究针对传统助听器语音增强算法在复杂场景中特征提取不可靠的问题，提出基于输出特性确定声音处理系统设置的范式，采用基于输出的MPDR波束形成器系统，实验证明该系统在多指标上优于传统MVDR基线。
2026-07-15 eess.AS
Attention-Based Beamformer For Multi-Channel Speech Enhancement
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
针对传统基于掩码的MVDR波束形成器因假设声源平稳而在移动声源场景下性能下降的问题，提出结合注意力机制、原位卷积和频率无关LSTM的端到端SCM估计方法，以更少计算量和参数实现更优的多通道语音增强效果。
2024-09-13 cs.SD eess.AS
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
最近，我们提出了基于递归神经网络（RNN）的全深度学习最小方差无失真响应（ADL-MVDR）波束形成器方法，通过用两个递归神经网络代替矩阵求逆和特征值分解，获得了优于传统MVDR的性能。在这项工作中，我们提出了一个自我关注的RNN波束形成器，通过利用自我关注的强大建模能力，进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块，以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外，多通道输入与多说话人的方向性特征和多说话人语音分离输出（MIMO）模型的发展，以提高推理效率。评估表明，我们提出的MIMO自关注RNN波束形成器提高了自动语音识别（ASR）的准确性和感知估计的语音质量（PESQ）对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
Joint Learning of Covariance Estimation and White Noise Gain for Robust MVDR Beamforming
School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Dolby Laboratories（Dolby实验室）；CIAIC, Northwestern Polytechnical University（中国航空工业第一研究所）；INRS-EMT, University of Quebec（魁北克大学INRS-EMT）
提出数据驱动MVDR框架，通过深度神经网络联合估计时频噪声掩码和频率相关WNG阈值，实现动态鲁棒性-指向性控制，端到端优化提升语音质量和可懂度。
2026-06-24 cs.SD eess.AS
Neural Network-Based Time-Frequency-Bin-Wise Linear Combination of Beamformers for Underdetermined Target Source Extraction
Waseda University（早稻田大学）；Northwestern Polytechnical University（西北工业大学）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）
本文提出基于神经网络的时间-频率-波束宽线性组合框架，通过交叉注意力机制预测时间-频率相干的组合权重，提升欠定混音中目标源提取性能。
2026-03-16 eess.AS
Deep Multi-Frame MVDR Filtering for Binaural Noise Reduction
University of Oldenburg（奥尔登堡大学）
为了提高噪声环境下的语音清晰度和语音质量，头戴式助听器的双耳降噪算法至关重要。已经提出了几种双耳降噪算法，例如众所周知的双耳最小方差无失真响应（MVDR）波束形成器，其利用目标语音和噪声分量两者的空间相关性。此外，对于单麦克风场景，已经提出了诸如多帧MVDR（MFMVDR）滤波器的多帧算法，其利用时间而不是空间相关性。在这方面的贡献，我们提出了一个双耳扩展的MFMVDR滤波器，它利用空间和时间的相关性。双耳MFMVDR滤波器嵌入在端到端深度学习框架中，其中所需的参数，即语音空间-时间相关向量以及（逆）噪声空间-时间协方差矩阵通过时间卷积网络（TCN）来估计，所述时间卷积网络通过最小化平均频谱绝对误差损失函数来训练。包括在-5 dB到20 dB的信噪比下测量的双耳房间脉冲和不同噪声源的仿真结果表明，利用双耳MFMVDR滤波器结构优于直接估计具有TCN的双耳多帧滤波器系数。
2022-11-14 cs.SD eess.AS
Spatial Loss for Unsupervised Multi-channel Source Separation
我们提出了一个空间损失的无监督多通道源分离。所提出的损失利用了到达波达方向（DOA）和波束形成的对偶性：导向和波束形成向量应该针对目标源对齐，但对于干扰源正交。空间损失鼓励来自经典DOA估计器和神经分离器的混合和去混合系统之间的一致性。在此损失下，我们训练了基于最小方差无失真响应（MVDR）波束形成和独立向量分析（IVA）的神经分离器。我们还调查了我们的空间损失和信号损失相结合的有效性，它使用的输出作为参考的盲源分离。我们评估我们提出的方法合成和记录（LibriCSS）的混合物。我们发现，空间损失是最有效的训练IVA为基础的分离器。对于神经MVDR波束形成器，当与信号丢失相结合时，它表现最好。在合成混合物上，所提出的无监督损失导致在字错误率方面与监督损失相同的性能。在LibriCSS上，我们在没有任何标记训练数据的情况下获得了接近最先进的性能。
2022-04-01 eess.AS
Improved MVDR Beamforming Using LSTM Speech Models to Clean Spatial Clustering Masks
The Graduate Center, City University of New York（纽约市立大学研究生中心）；Brooklyn College, City University of New York（纽约市立大学布鲁克林学院）
空间聚类技术可以在相对任意的麦克风配置上实现显著的多通道降噪，但难以结合详细的语音/噪声模型。相比之下，LSTM神经网络已经成功地被训练成在单通道输入上从噪声中识别语音，但很难充分利用多通道记录中的信息。本文结合这两种方法，训练LSTM语音模型来清理基于模型的EM声源分离和定位（MESSL）空间聚类方法生成的掩码。通过这样做，它既获得了多通道空间聚类的空间分离性能和通用性，又获得了多个并行单通道LSTM语音增强器的信号建模性能。我们的实验表明，当我们的系统被应用到CHiME-3数据集的嘈杂的平板电脑录音，它提高了语音质量的感知评价语音质量（PESQ）算法测量，并降低了字出错率的基线CHiME-3语音识别器，相比默认的BeamformIt波束形成器。
2020-12-02 cs.LG cs.SD eess.AS
Deep Learning-Based Joint Control of Acoustic Echo Cancellation, Beamforming and Postfiltering
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
我们介绍了一种新的方法，用于控制免提语音通信设备，其中包括基于模型的声学回声消除器（AEC），最小方差无失真响应（MVDR）波束形成器（BF）和频谱后置滤波器（PF）的功能。在AEC去除早期回波分量的同时，MVDR BF和PF抑制残余回波和背景噪声。作为关键创新，我们建议使用单个深度神经网络（DNN）来联合控制各种算法组件的自适应。这允许在存在高电平干扰双端通话的情况下快速收敛和高稳态性能。使用时域语音提取损失函数的DNN的端到端训练避免了单独控制策略的设计。
2022-08-10 cs.SD eess.AS
Multichannel Speech Enhancement without Beamforming
Facebook Reality Labs Research（Facebook现实实验室研究部）
深度神经网络通常与传统的空间滤波器耦合，例如MVDR波束形成器，用于有效地利用空间信息。尽管单级端到端监督模型可以获得令人印象深刻的增强，但将它们与传统的波束形成器和基于DNN的后置滤波器结合在多级处理中可以提供额外的改进。在这项工作中，我们提出了一个两阶段的多通道语音增强策略，不需要一个传统的波束形成额外的性能。首先，我们提出了一种新的注意密集卷积网络（ADCN）估计的实部和虚部的复频谱。ADCN在单级模式中获得了最先进的结果。接下来，我们使用ADCN与最近提出的三路径注意递归网络（TPARN）估计波形样本。拟议的战略使用两种见解;第一，在两个阶段使用不同的方法;第二，在第一阶段使用更强大的模型。我们说明了我们的策略的有效性，通过评估多个模型在两个阶段的方法，有和没有传统的波束形成器。
2022-04-06 cs.SD eess.AS
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH（Nuance通讯有限公司）；Nuance Communications Inc.（Nuance通讯公司）；Nuance Communications S.A.（Nuance通讯股份公司）
当提供足够大的远场训练数据时，联合优化多通道前端和端到端（E2E）自动语音识别（ASR）后端显示出有希望的结果。最近的文献表明，传统的波束形成器设计，如MVDR（最小方差无失真响应）或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中，我们提出了自注意通道组合器（SACC）ASR前端，它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明，与最先进的基于固定波束形成器的前端相比，SACC实现了9.3%的WERR，两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接，并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
Unsupervised Speech Enhancement Based on Multichannel NMF-Informed Beamforming for Noise-Robust Automatic Speech Recognition
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文介绍了多通道语音增强，以提高自动语音识别（ASR）在嘈杂的环境。最近，最小方差无失真响应（MVDR）波束形成得到了广泛的应用，因为它工作良好，如果语音的导向矢量和噪声的空间协方差矩阵（SCM）是给定的。为了估计这样的空间信息，传统的研究采用监督方法，该方法通过训练深度神经网络（DNN）将每个时频（TF）仓分类为噪声或语音。然而，在未知噪声环境中，ASR的性能下降。为了解决这个问题，我们采取了一种无监督的方法，通过使用多通道非负矩阵分解（MNMF）将每个TF bin分解为语音和噪声的总和。这使我们能够准确地估计SCM的语音和噪声，而不是从观察到的嘈杂的混合物，但从分离的语音和噪声成分。在本文中，我们提出了在线MVDR波束形成有效地初始化和增量更新的参数MNMF。另一个主要贡献是全面研究由各种类型的空间滤波器获得的ASR的性能，即，MVDR波束形成器的时不变和变化版本以及秩1和满秩多通道维纳滤波器的时不变和变化版本，与MNMF组合。实验结果表明，在与训练数据不匹配的未知环境中，该方法的性能优于基于DNN的波束形成方法。
2019-03-31 cs.LG cs.SD eess.AS
Ego-noise reduction of a mobile robot using noise spatial covariance matrix learning and minimum variance distortionless response
由于深度学习方法，语音和事件识别系统的性能最近得到了显着改善。然而，当在机器人上部署算法时，由于在训练神经网络时执行器产生的不可见的机械噪声和电气干扰，其中一些任务仍然具有挑战性。因此，当在机器人上使用预先训练的语音和事件识别算法时，作为预处理步骤的自我噪声降低可以帮助解决这个问题。在本文中，我们提出了一种新的方法来减少自我噪声，只使用麦克风阵列和不到两分钟的噪音记录。使用主成分分析（PCA），最佳的协方差矩阵候选人是从一个字典中选择在线创建的校准过程中，并使用最小方差无失真响应（MVDR）波束形成器。实验结果表明，该方法实时性好，信号失真比（SDR）提高了10 dB，在某些情况下字错误率（WER）降低了55%，事件检测的平均精度（AP）提高了0.2.
2023-03-07 eess.AS
Transformer-based Neural Beamforming for Real-Time Speech Enhancement on Smart Low-Power Hearable Devices
University of Bologna（博洛尼亚大学）
提出一种在低功耗MCU上实时运行基于Transformer的MVDR神经波束成形方法，通过混合精度与时间切片实现15毫秒延迟，达到高语音质量并显著延长电池寿命。
2026-09-29 cs.AI cs.SD eess.AS
Multi-Channel Speech Enhancement using Graph Neural Networks
Facebook Reality Labs Research（Facebook Reality Labs 研究院）
多通道语音增强的目的是使用从多个麦克风捕获的信号从噪声混合物中提取干净的语音。最近提出的方法通过将深度神经网络模型与诸如最小方差无失真响应（MVDR）波束形成器的空间滤波技术相结合来解决这个问题。在本文中，我们介绍了一个不同的研究方向，通过查看每个音频通道作为一个节点躺在一个非欧几里德空间，具体来说，一个图形。这个公式允许我们应用图神经网络（GNN）来找到不同通道（节点）之间的空间相关性。我们利用图卷积网络（GCN），将它们纳入嵌入空间的U-Net架构。我们使用LibriSpeech数据集和模拟室内声学数据，使用不同的阵列类型和麦克风数量对我们的方法进行广泛的实验。结果表明，我们的方法相比，现有国家的最先进的方法的优越性。
2021-02-13 cs.SD eess.AS
Wideband Relative Transfer Function (RTF) Estimation Exploiting Frequency Correlations
针对传统RTF估计忽略频谱相关性的问题，提出基于子空间分析并利用频谱与空间相关性的宽带估计方法，推导CRB并通过真实与合成实验验证其优于CW。
2025-02-17 eess.AS eess.SP
