Ego-noise reduction of a mobile robot using noise spatial covariance matrix learning and minimum variance distortionless response
由于深度学习方法，语音和事件识别系统的性能最近得到了显着改善。然而，当在机器人上部署算法时，由于在训练神经网络时执行器产生的不可见的机械噪声和电气干扰，其中一些任务仍然具有挑战性。因此，当在机器人上使用预先训练的语音和事件识别算法时，作为预处理步骤的自我噪声降低可以帮助解决这个问题。在本文中，我们提出了一种新的方法来减少自我噪声，只使用麦克风阵列和不到两分钟的噪音记录。使用主成分分析（PCA），最佳的协方差矩阵候选人是从一个字典中选择在线创建的校准过程中，并使用最小方差无失真响应（MVDR）波束形成器。实验结果表明，该方法实时性好，信号失真比（SDR）提高了10 dB，在某些情况下字错误率（WER）降低了55%，事件检测的平均精度（AP）提高了0.2.
2023-03-07 eess.AS
Subspace Hybrid Beamforming for Head-worn Microphone Arrays
提出了一种两阶段多通道语音增强方法，该方法由一种新的自适应波束形成器、混合最小方差无失真响应（MVDR）、各向同性MVDR（Iso）和一种新的多通道谱主成分分析（PCA）去噪组成。在第一阶段，混合MVDR使用预定义的噪声场模型的字典执行多个MVDR，并选择最小功率结果，这得益于信号无关波束形成的鲁棒性和自适应波束形成的性能。在第二阶段，混合和ISO的结果联合使用在一个基于PCA的双通道去噪，以消除由混合波束形成器产生的“音乐噪声”。在头戴式阵列的真实“鸡尾酒会”录音数据集上，所提出的方法在噪声抑制（fwSegSNR，SDR，SIR，SAR）和语音清晰度（STOI）方面优于基线超定向波束形成器，并具有类似的语音质量（PESQ）改善。
2023-03-15 eess.AS eess.SP
Listen first: Output-based multi-microphone speech enhancement
Aalborg University（奥尔堡大学）；Eriksholm Research Centre（埃里克舍姆研究中心）
研究针对传统助听器语音增强算法在复杂场景中特征提取不可靠的问题，提出基于输出特性确定声音处理系统设置的范式，采用基于输出的MPDR波束形成器系统，实验证明该系统在多指标上优于传统MVDR基线。
2026-07-15 eess.AS
Statistical Beamformer Exploiting Non-stationarity and Sparsity with Spatially Constrained ICA for Robust Speech Recognition
Sogang University（西江大学）
提出一种基于非平稳拉普拉斯分布和空间约束ICA的统计波束形成算法，通过结合掩模方差与松弛零点约束提升导向矢量估计，在CHiME-4和LibriCSS数据集上验证了其在批处理和在线处理下对鲁棒语音识别的有效性。
2024-01-05 cs.SD eess.AS
Multi-channel end-to-end neural network for speech enhancement, source localization, and voice activity detection
语音增强和声源定位技术是近几十年来的研究热点，在实际应用中具有广泛的应用前景。最近，深度复杂卷积循环网络（DCCRN）为单通道系统带来了令人印象深刻的增强性能。在这项研究中，神经波束形成器组成的波束形成器和一种新的多通道DCCRN提出了语音增强和源定位。由多通道DCCRN估计的复值滤波器作为波束形成器的权重。此外，一个单阶段的学习为基础的过程是用于语音增强和源定位。建议的网络组成的多通道DCCRN和辅助网络模型的声场，同时最小化无失真的响应损失函数。仿真结果表明，该神经波束形成器能有效地增强语音信号，且语音质量保持良好。所提出的神经波束形成器还提供源定位和语音活动检测（VAD）功能。
2022-06-20 eess.AS
Neural Spatio-Temporal Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
基于神经网络的语音分离和增强方法虽然能取得较好的客观效果，但不可避免地会产生非线性语音失真，这对自动语音识别（ASR）是有害的。另一方面，最小方差无失真响应（MVDR）波束形成器与NN预测的面具，虽然可以显着减少语音失真，具有有限的降噪能力。在本文中，我们提出了一个多抽头MVDR波束形成器与复值掩模语音分离和增强。与现有技术的基于NN掩模的MVDR波束形成器相比，除了现有技术中已经利用的麦克风间相关性之外，多抽头MVDR波束形成器还利用帧间相关性。进一步的改进包括用复值掩码替换实值掩码和复掩码NN的联合训练。对我们的多模态多通道目标语音分离和增强平台的评估表明，我们提出的多抽头MVDR波束形成器相对于现有技术提高了ASR准确性和感知语音质量。
2020-07-31 cs.SD eess.AS
Generalized Spatio-Temporal RNN Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）；Indiana University（印第安纳大学）
传统的基于掩码的最小方差无失真响应（MVDR）方法虽然可以减小非线性失真，但MVDR分离语音的残余噪声水平仍然很高。在本文中，我们提出了一个时空递归神经网络波束形成器（RNN-BF）的目标语音分离。这种新的波束形成框架直接从估计的语音和噪声空间协方差矩阵学习波束形成权重。利用RNN的时间建模能力，RNN-BF可以自动累积语音和噪声协方差矩阵的统计信息，以递归方式学习帧级波束成形权重。提出了一种基于RNN的广义特征值波束形成器（RNN-GEV）和一种更广义的RNN波束形成器（GRNN-BF）。我们通过使用层归一化来代替协方差矩阵上常用的掩码归一化，进一步改进了RNN-GEV和GRNN-BF。所提出的GRNN-BF在语音质量（PESQ）、语音噪声比（SNR）和字出错率（WER）方面获得了优于现有技术的性能。
2021-04-03 cs.SD eess.AS
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab（腾讯AI实验室）
本文旨在消除干扰说话人的语音，加性噪声，混响从嘈杂的多说话人的语音混合，有利于自动语音识别（ASR）后端。虽然最近提出的加权功率最小化无失真响应（WPD）波束形成器可以同时执行分离和去混响，但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”，通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失，包括复谱域尺度不变信噪比（C-Si-SNR）和幅度域均方误差（Mag-MSE），对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明，WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
最近，我们提出了基于递归神经网络（RNN）的全深度学习最小方差无失真响应（ADL-MVDR）波束形成器方法，通过用两个递归神经网络代替矩阵求逆和特征值分解，获得了优于传统MVDR的性能。在这项工作中，我们提出了一个自我关注的RNN波束形成器，通过利用自我关注的强大建模能力，进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块，以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外，多通道输入与多说话人的方向性特征和多说话人语音分离输出（MIMO）模型的发展，以提高推理效率。评估表明，我们提出的MIMO自关注RNN波束形成器提高了自动语音识别（ASR）的准确性和感知估计的语音质量（PESQ）对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
ADL-MVDR: All deep learning MVDR beamformer for target speech separation
语音分离算法通常用于将目标语音从其他干扰源中分离出来。然而，基于纯神经网络的语音分离系统经常导致非线性失真，这对于自动语音识别（ASR）系统是有害的。传统的基于掩模的最小方差无失真响应（MVDR）波束形成器可以用来最小化失真，但伴随着高水平的残留噪声。此外，矩阵运算（例如，矩阵求逆）在与神经网络联合训练时有时在数值上不稳定。在本文中，我们提出了一种新的全深度学习MVDR框架，其中矩阵求逆和特征值分解由两个递归神经网络（RNN）代替，以同时解决这两个问题。该方法利用RNN预测的帧间波束形成权值，在保持目标语音不失真的同时，大大降低了残余噪声。该系统是评估的普通话视听语料库和比较几个国家的最先进的（SOTA）语音分离系统。实验结果表明，该方法在几个客观指标和ASR准确性的优越性。
2021-02-09 eess.AS
All-neural beamformer for continuous speech separation
Microsoft（微软公司）
连续语音分离（CSS）旨在从包含未知数量的说话者说出的未知数量的话语的会话音频的连续流入中分离重叠的语音。一个常见的应用场景是转录麦克风阵列记录的会议对话。之前的研究探索了用于时频掩码估计的各种深度学习模型，然后是最小方差无失真响应（MVDR）滤波器，以提高自动语音识别（ASR）的准确性。这些方法的性能基本上是由MVDR的空间选择性上限。最近，全深度学习MVDR（ADL-MVDR）模型被提出用于神经波束成形，并在使用预分段输入的目标语音提取任务中表现出卓越的性能。在本文中，我们进一步调整ADL-MVDR以适应CSS任务，并进行了几项增强，以实现端到端神经波束成形。所提出的系统实现了显着的字错误率降低了基线频谱掩蔽系统上的LibriCSS数据集。此外，所提出的神经波束形成器被证明是一个国家的最先进的MVDR为基础的系统在真正的会议转录任务，包括AMI，同时显示出潜力，以进一步简化运行时实现和减少系统延迟与帧处理。
2021-10-13 cs.SD eess.AS
peerRTF: Robust MVDR Beamforming Using Graph Convolutional Network
本文提出peerRTF方法，利用图卷积网络学习RTF流形，以在噪声和混响环境中实现鲁棒的RTF估计，从而提升MVDR波束形成器的性能。
2024-12-17 eess.AS
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH（Nuance通讯有限公司）；Nuance Communications Inc.（Nuance通讯公司）；Nuance Communications S.A.（Nuance通讯股份公司）
当提供足够大的远场训练数据时，联合优化多通道前端和端到端（E2E）自动语音识别（ASR）后端显示出有希望的结果。最近的文献表明，传统的波束形成器设计，如MVDR（最小方差无失真响应）或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中，我们提出了自注意通道组合器（SACC）ASR前端，它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明，与最先进的基于固定波束形成器的前端相比，SACC实现了9.3%的WERR，两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接，并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）；University of Oldenburg（奥尔登堡大学）
在多说话人环境下，语音增强算法的性能取决于正确识别要增强的目标说话人。听觉注意解码（AAD）方法允许从单次试验EEG记录中识别听者正在注意的目标说话者。针对增强目标说话人和抑制干扰说话人、混响和环境噪声的问题，本文提出了一种认知驱动的多麦克风语音增强系统，该系统结合了基于神经网络的掩蔽估计器、加权最小功率无失真响应卷积波束形成器和AAD。为了控制干扰扬声器的抑制，我们还提出了一个扩展，将干扰抑制约束。实验结果表明，该系统优于国家的最先进的认知驱动的语音增强系统在具有挑战性的混响和噪声条件。
2020-05-10 cs.SD eess.AS eess.SP
Multi-Channel Speech Enhancement using Graph Neural Networks
Facebook Reality Labs Research（Facebook Reality Labs 研究院）
多通道语音增强的目的是使用从多个麦克风捕获的信号从噪声混合物中提取干净的语音。最近提出的方法通过将深度神经网络模型与诸如最小方差无失真响应（MVDR）波束形成器的空间滤波技术相结合来解决这个问题。在本文中，我们介绍了一个不同的研究方向，通过查看每个音频通道作为一个节点躺在一个非欧几里德空间，具体来说，一个图形。这个公式允许我们应用图神经网络（GNN）来找到不同通道（节点）之间的空间相关性。我们利用图卷积网络（GCN），将它们纳入嵌入空间的U-Net架构。我们使用LibriSpeech数据集和模拟室内声学数据，使用不同的阵列类型和麦克风数量对我们的方法进行广泛的实验。结果表明，我们的方法相比，现有国家的最先进的方法的优越性。
2021-02-13 cs.SD eess.AS
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology（格拉茨技术大学）；Ruperts Karls University（海德堡大学）
虽然机器学习技术传统上是资源密集型的，但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中，我们提供了一种基于深度神经网络（DNN）的多通道语音增强的资源高效方法。特别是，我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应（MVDR）或广义特征值（GEV）波束形成器。在二进制权重和精度降低的激活的极端情况下，可以显著减少执行时间和内存占用，同时仍然获得几乎与单精度DNN相当的音频质量，并且使用WSJ0语音语料库的单个说话者场景的字错误率（WER）略高。
2020-07-22 cs.LG cs.SD eess.AS
Similarity-and-Independence-Aware Beamformer with Iterative Casting and Boost Start for Target Source Extraction Using Reference
目标源提取对于提高人的语音可懂度和计算机的语音识别性能具有重要意义。本文提出了一种基于相似性和独立性感知的目标源提取方法。SIBF使用粗略的幅度谱图作为参考信号来提取目标源。SIBF的优势在于，与基于深度神经网络的语音增强等目标增强方法生成的频谱图相比，它可以获得更准确的信号。对于提取，我们扩展了通货紧缩的独立成分分析（ICA）的框架，通过考虑参考和提取的目标源之间的相似性，除了所有的潜在源的相互独立性。为了解决最大似然估计的提取问题，我们引入了三种能够反映相似性的源模型。本研究的主要贡献如下。首先，使用两种方法提高提取性能，即加速启动以实现更快的收敛和迭代铸造以生成更准确的参考。通过CHiME3数据集的实验验证了这些方法的有效性。第二，一个固定点的概念有关的准确性。这一概念有助于理解基准电压源和SIBF输出在精度方面的关系。第三，实现了SIBF和基于掩模的波束形成器的统一制定，以将传统BF的专业知识应用于SIBF。本文的研究结果也可以提高SIBF的性能，促进ICA和传统波束形成器的研究。索引词：波束形成器，独立分量分析，源分离，语音增强，目标源提取
2021-10-18 cs.SD eess.AS
Joint Learning of Covariance Estimation and White Noise Gain for Robust MVDR Beamforming
School of Electronic Information, Wuhan University（武汉大学电子信息学院）；Dolby Laboratories（Dolby实验室）；CIAIC, Northwestern Polytechnical University（中国航空工业第一研究所）；INRS-EMT, University of Quebec（魁北克大学INRS-EMT）
提出数据驱动MVDR框架，通过深度神经网络联合估计时频噪声掩码和频率相关WNG阈值，实现动态鲁棒性-指向性控制，端到端优化提升语音质量和可懂度。
2026-06-24 cs.SD eess.AS
Mask-Weighted Spatial Likelihood Coding for Speaker-Independent Joint Localization and Mask Estimation
University of Hamburg（汉堡大学）
提出掩码加权空间似然编码，将时频掩码与声源位置统一编码到固定空间网格，实现说话人无关的联合定位与掩码估计，并可仅通过训练框架调整替代上游声源定位系统。
2025-01-08 cs.LG cs.SD eess.AS
A two-step approach for speech enhancement in low-SNR scenarios using cyclostationary beamforming and DNNs
本文提出一种结合循环平稳预处理与轻量级DNN的两步语音增强方法，有效提升低信噪比下的语音质量。
2026-02-13 cs.SD eess.AS
Unsupervised Speech Enhancement Based on Multichannel NMF-Informed Beamforming for Noise-Robust Automatic Speech Recognition
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文介绍了多通道语音增强，以提高自动语音识别（ASR）在嘈杂的环境。最近，最小方差无失真响应（MVDR）波束形成得到了广泛的应用，因为它工作良好，如果语音的导向矢量和噪声的空间协方差矩阵（SCM）是给定的。为了估计这样的空间信息，传统的研究采用监督方法，该方法通过训练深度神经网络（DNN）将每个时频（TF）仓分类为噪声或语音。然而，在未知噪声环境中，ASR的性能下降。为了解决这个问题，我们采取了一种无监督的方法，通过使用多通道非负矩阵分解（MNMF）将每个TF bin分解为语音和噪声的总和。这使我们能够准确地估计SCM的语音和噪声，而不是从观察到的嘈杂的混合物，但从分离的语音和噪声成分。在本文中，我们提出了在线MVDR波束形成有效地初始化和增量更新的参数MNMF。另一个主要贡献是全面研究由各种类型的空间滤波器获得的ASR的性能，即，MVDR波束形成器的时不变和变化版本以及秩1和满秩多通道维纳滤波器的时不变和变化版本，与MNMF组合。实验结果表明，在与训练数据不匹配的未知环境中，该方法的性能优于基于DNN的波束形成方法。
2019-03-31 cs.LG cs.SD eess.AS
Transformer-based Neural Beamforming for Real-Time Speech Enhancement on Smart Low-Power Hearable Devices
University of Bologna（博洛尼亚大学）
提出一种在低功耗MCU上实时运行基于Transformer的MVDR神经波束成形方法，通过混合精度与时间切片实现15毫秒延迟，达到高语音质量并显著延长电池寿命。
2026-09-29 cs.AI cs.SD eess.AS
