An End-to-end Architecture of Online Multi-channel Speech Separation
Microsoft STCA Beijing（微软亚太研发集团北京）
多说话人语音识别突破了现有语音识别系统中说话人为单个说话人的假设，成为会话转录的关键挑战之一。语音分离被认为是解决这个问题的一种方法。在此之前，我们介绍了一个系统，称为dunmixing，固定波束形成器和提取（UFE），这被证明是有效的，在解决会话转录的语音重叠问题。在UFE中，输入混合信号由固定波束形成器处理，然后进行神经网络后滤波。虽然取得了可喜的成果，该系统包含多个单独开发的模块，导致潜在的次优性能。在这项工作中，我们介绍了一个端到端的建模版本的UFE。为了使梯度传播的所有方式，提出了一个注意力选择模块，其中注意力权重是学习每个波束形成器和空间特征在空间上采样。实验结果表明，该系统在离线评估中与原始的基于单独处理的流水线实现了可比较的性能，同时在在线评估中产生了可扩展的改进。
2020-09-07 cs.SD eess.AS
Deep Neural Mel-Subband Beamformer for In-car Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
虽然目前基于深度学习（DL）的波束成形技术已被证明在语音分离中是有效的，但它们通常被设计为独立处理窄带（NB）频率，这导致更高的计算成本和推理时间，使它们不适合现实世界的使用。在本文中，我们提出了基于DL的梅尔子带时空波束形成器进行语音分离在汽车环境中，减少计算成本和推理时间。相对于传统的子带（SB）的方法，我们的框架使用了一个梅尔规模为基础的子带选择策略，确保了细粒度的处理较低的频率，其中大多数语音共振峰结构是存在的，和粗粒度的处理较高的频率。以递归的方式，从估计的子带语音和噪声协方差矩阵中为汽车中的每个扬声器位置/区域确定鲁棒的帧级波束成形权重。此外，所提出的框架还通过使用回声参考信号来估计和抑制来自扬声器的任何回声。我们比较了我们提出的框架的性能，几个NB，SB和全频带（FB）处理技术的语音质量和识别指标。基于模拟和真实世界的录音实验评估，我们发现，我们提出的框架实现了更好的分离性能在所有SB和FB方法，并实现性能接近NB处理技术，同时需要较低的计算成本。
2023-03-11 cs.LG cs.SD eess.AS
Beamformer-Guided Target Speaker Extraction
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
我们提出了一种波束形成器引导的目标说话人提取（BG-TSE）的方法来提取目标说话人的声音从多通道录音通知的波达方向的目标。所提出的方法采用前端波束形成器转向目标扬声器提供一个辅助信号的单通道TSE系统。通过允许在单通道TSE块中进行时变嵌入，所提出的方法充分利用了前端波束形成器输出与麦克风信号中的目标语音之间的对应关系。在消声和混响条件下对模拟多通道2扬声器混合的实验评估表明，与最近的单通道和多通道基线相比，所提出的方法具有优势。
2023-03-15 cs.SD eess.AS
Low-Latency Speaker-Independent Continuous Speech Separation
Microsoft（微软）
说话人独立连续语音分离（SI-CSS）是将可能包含未知说话人的重叠语音的连续音频流转换成固定数量的连续信号的任务，每个连续信号不包含重叠语音段。从SI-CSS的输出通道之一非确定性地生成每个话语的分离或清洁版本，而不将其拆分并分发到多个通道。典型的应用场景是转录使用麦克风阵列记录的多方对话，例如会议。输出信号可以简单地发送到语音识别引擎，因为它们不包括语音重叠。先前的SI-CSS方法使用用置换不变训练和数据驱动的波束形成器训练的神经网络，因此需要很多处理延迟。本文提出了一种低延迟的SI-CSS方法，其性能与基于麦克风阵列的会议转录任务中的先前方法相当，这是通过（1）使用新的语音分离网络架构结合双缓冲方案和（2）使用一组固定波束形成器和神经后滤波器执行增强来实现的。
2019-04-13 cs.CL cs.SD eess.AS
ASoBO: Attentive Beamformer Selection for Distant Speaker Diarization in Meetings
LIUM（LIUM实验室）；Institut Claude Chappe（克劳德·沙普研究所）；Le Mans Université（勒芒大学）；LAUM（LAUM实验室）；IA-GS（IA-GS机构）；UMR CNRS 6613（法国国家科学研究中心联合单位6613号）
本文提出ASoBO算法，利用自注意力机制选择固定空间滤波器输出作为特征，联合进行VAD和OSD以推断说话人日志，在AISHELL-4上达到14.5%的DER且注意力权重具可解释性。
2024-06-05 cs.AI cs.SD eess.AS
MIMO-DBnet: Multi-channel Input and Multiple Outputs DOA-aware Beamforming Network for Speech Separation
Tianjin University（天津大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Xiaoju Technology Co., Ltd.（北京小桔科技有限公司）
最近，已经提出了许多基于深度学习的波束形成器用于多通道语音分离。然而，他们中的大多数依赖于预先已知的额外线索，如说话人特征，面部图像或方向信息。在本文中，我们提出了一个端到端的波束形成网络的方向引导的语音分离，仅给定的混合信号，即MIMO-DBnet。具体来说，我们设计了一个多通道输入和多个输出架构来预测每个源的基于到达方向的嵌入和波束成形权重。精确估计的方向嵌入为神经波束形成器提供了非常有效的空间鉴别指导，以抵消相位缠绕的影响，从而允许更准确地重建两个源的语音信号。实验表明，与基线系统相比，我们提出的MIMO-DBnet不仅实现了全面的可观改进，而且在发生相位包裹时仍能保持高频段的性能。
2022-12-07 cs.LG cs.SD eess.AS
Recognizing Overlapped Speech in Meetings: A Multichannel Separation Approach Using Neural Networks
Microsoft AI and Research（微软人工智能与研究院）
本研究的目标是开发一个会议转录系统，即使不同说话人的话语重叠，也能识别语音。虽然语音重叠被认为是准确转录会议的主要障碍，但由于先前提出的语音分离技术对于应用于实际会议具有关键约束，因此仅使用具有单个输出的传统波束形成器。本文提出了一种新的信号处理模块，称为解混换能器，并描述了其实现使用加窗BLSTM。解混换能器具有固定数量（比如J）的输出声道，其中J可以不同于会议参加者的数量，并且解混换能器将输入多声道声学信号变换成J个时间同步音频流。会议中的每个话语被分离并从其中一个输出通道发出。然后，每个输出信号可以被简单地馈送到语音识别后端以进行分段和转录。我们的会议转录系统使用解混换能器优于基于最先进的神经掩模的波束形成器的系统10.8%。在重叠部分观察到显著改善。据我们所知，这是第一份报告，适用于重叠语音识别的无约束的真实会议音频。
2018-10-08 cs.CL cs.SD eess.AS
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab（腾讯AI实验室）
本文旨在消除干扰说话人的语音，加性噪声，混响从嘈杂的多说话人的语音混合，有利于自动语音识别（ASR）后端。虽然最近提出的加权功率最小化无失真响应（WPD）波束形成器可以同时执行分离和去混响，但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”，通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失，包括复谱域尺度不变信噪比（C-Si-SNR）和幅度域均方误差（Mag-MSE），对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明，WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
Embedding and Beamforming: All-neural Causal Beamformer for Multichannel Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
空间协方差矩阵已被认为是重要的波束形成器。基于传统波束形成器和深度神经网络的交叉点，提出了一种因果神经波束形成器的范式Embedding and Beamforming，并设计了两个核心模块EM和BM。对于EM，不是显式地估计空间协方差矩阵，而是使用网络学习3-D嵌入张量，其中可以表示光谱和空间判别信息。对于BM，直接利用网络来导出波束成形权重，以便实现滤波求和操作。为了进一步提高语音质量，引入后处理模块进一步抑制残余噪声。基于DNS-Challenge数据集，我们进行了多通道语音增强的实验，结果表明，该系统在多个评价指标上大大优于以前的先进基线。
2021-09-02 cs.SD eess.AS
DFSNet: A Steerable Neural Beamformer Invariant to Microphone Array Configuration for Real-Time, Low-Latency Speech Enhancement
University of Texas at Dallas（德克萨斯大学达拉斯分校）
麦克风阵列配置的不变性是神经波束形成器中罕见的属性。此类中的滤波求和（FS）方法定义相对于参考通道的目标信号。然而，这不仅使混响条件下的公式化复杂化，而且使网络复杂化，网络必须具有推断参考通道是什么的机制。为了解决这些问题，本研究提出了延迟滤波求和网络（DFSNet），一个可控的神经波束形成器不变的麦克风数量和阵列的几何形状的因果语音增强。在DFSNet中，在FS操作之前，首先将获取的信号转向语音源方向，这将任务简化为延迟和求和的混响干净语音的估计。所提出的模型被设计为产生低延迟、失真、以及存储器和计算负担，从而在助听器应用中产生高潜力。仿真结果显示，可比的性能非因果的最先进的。
2023-02-26 cs.SD eess.AS
Joint Multi-Channel Dereverberation and Noise Reduction Using a Unified Convolutional Beamformer With Sparse Priors
University of Oldenburg（奥尔登堡大学）
近年来，卷积加权功率最小化无失真响应（WPD）波束形成器被提出，它将多通道加权预测误差去混响和最小功率无失真响应波束形成相结合。为了优化卷积滤波器，利用时变高斯模型对期望的语音分量进行建模，与有噪声的麦克风信号相比，该时变高斯模型促进了期望的语音分量在短时傅里叶变换域中的稀疏性。在本文中，我们推广的卷积WPD波束形成器，通过使用lp-范数代价函数，引入一个可调的形状参数，使控制所需的语音分量的稀疏性。基于REVERB挑战数据集的实验表明，该方法在客观语音质量指标方面优于传统的卷积WPD波束形成器。
2023-03-13 cs.SD eess.AS
TaylorBeamformer: Learning All-Neural Beamformer for Multi-Channel Speech Enhancement from Taylor's Approximation Theory
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
虽然现有的端到端波束形成器在各种前端语音处理任务中实现了令人印象深刻的性能，但它们通常将整个过程封装到黑盒中，因此缺乏足够的可解释性。作为一种尝试，我们提出了一种新的神经波束形成器的启发泰勒的近似理论称为泰勒波束形成器的多通道语音增强。其核心思想是，恢复过程可以用公式表示为输入混合物邻域中的空间滤波。在此基础上，我们将其分解为0阶非导数项和高阶导数项的叠加，其中前者作为空间滤波器，后者被视为残余噪声消除器，以进一步提高语音质量。为了实现端到端的训练，我们用可训练的网络取代衍生操作，从而可以从训练数据中学习。在基于LibriSpeech的合成数据集上进行了大量的实验，结果表明，该方法对以前的先进基线表现良好。
2022-03-16 cs.SD eess.AS
TF-GridNet: Integrating Full- and Sub-Band Modeling for Speech Separation
Carnegie Mellon University（卡内基梅隆大学）；Università Politecnica delle Marche（马尔凯理工大学）；Hyundai Motor Group（现代汽车集团）；dot Inc.（42dot公司）
本文提出 TF-GridNet，通过在时频域集成全频带与子频带建模并执行复频谱映射进行语音分离，在多项单/多通道分离、去混响与增强任务中达到当前最优性能。
2023-08-04 cs.SD eess.AS
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种方法来估计卷积波束形成器，可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差（WPE）方法的去混响的应用，然后基于最小方差无失真响应（MVDR）波束形成器的去噪，传统上被认为是有前途的方法，然而，不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成，我们提出了一种方法，该方法将WPE去混响方法和MVDR波束形成器的变体，即最小功率无失真响应（MPDR）波束形成器，合并为单个卷积波束形成器，并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应（WPD）波束形成器。实验结果表明，该方法在客观语音增强指标和自动语音识别（ASR）性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
Attention-Based Beamformer For Multi-Channel Speech Enhancement
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
针对传统基于掩码的MVDR波束形成器因假设声源平稳而在移动声源场景下性能下降的问题，提出结合注意力机制、原位卷积和频率无关LSTM的端到端SCM估计方法，以更少计算量和参数实现更优的多通道语音增强效果。
2024-09-13 cs.SD eess.AS
Statistical Beamformer Exploiting Non-stationarity and Sparsity with Spatially Constrained ICA for Robust Speech Recognition
Sogang University（西江大学）
提出一种基于非平稳拉普拉斯分布和空间约束ICA的统计波束形成算法，通过结合掩模方差与松弛零点约束提升导向矢量估计，在CHiME-4和LibriCSS数据集上验证了其在批处理和在线处理下对鲁棒语音识别的有效性。
2024-01-05 cs.SD eess.AS
IsoNet: Face-Guided Speech Extraction for Compact Microphone Arrays
Department of Electronics and Computer Engineering, Thapathali Campus, Institute of Engineering, Tribhuvan University（电子与计算机工程系，Thapathali校区，工程学院，塔波胡万大学）
IsoNet通过结合多通道STFT特征、GCC-PHAT空间线索和面部条件视觉嵌入，实现了在紧凑麦克风阵列上的目标语音提取，其在复杂声学环境中的性能优于传统方法。
2026-10-30 cs.LG cs.SD
Online neural fusion of distortionless differential beamformers for robust speech enhancement
针对固定波束形成器适配性差、传统自适应凸组合算法在非平稳场景失效的问题，提出基于神经网络估计权重的多无失真差分波束形成器帧级在线神经融合框架，提升动态环境下的干扰抑制能力。
2025-10-28 cs.AI cs.SD eess.AS
Multichannel Speech Enhancement without Beamforming
Facebook Reality Labs Research（Facebook现实实验室研究部）
深度神经网络通常与传统的空间滤波器耦合，例如MVDR波束形成器，用于有效地利用空间信息。尽管单级端到端监督模型可以获得令人印象深刻的增强，但将它们与传统的波束形成器和基于DNN的后置滤波器结合在多级处理中可以提供额外的改进。在这项工作中，我们提出了一个两阶段的多通道语音增强策略，不需要一个传统的波束形成额外的性能。首先，我们提出了一种新的注意密集卷积网络（ADCN）估计的实部和虚部的复频谱。ADCN在单级模式中获得了最先进的结果。接下来，我们使用ADCN与最近提出的三路径注意递归网络（TPARN）估计波形样本。拟议的战略使用两种见解;第一，在两个阶段使用不同的方法;第二，在第一阶段使用更强大的模型。我们说明了我们的策略的有效性，通过评估多个模型在两个阶段的方法，有和没有传统的波束形成器。
2022-04-06 cs.SD eess.AS
Multi-channel end-to-end neural network for speech enhancement, source localization, and voice activity detection
语音增强和声源定位技术是近几十年来的研究热点，在实际应用中具有广泛的应用前景。最近，深度复杂卷积循环网络（DCCRN）为单通道系统带来了令人印象深刻的增强性能。在这项研究中，神经波束形成器组成的波束形成器和一种新的多通道DCCRN提出了语音增强和源定位。由多通道DCCRN估计的复值滤波器作为波束形成器的权重。此外，一个单阶段的学习为基础的过程是用于语音增强和源定位。建议的网络组成的多通道DCCRN和辅助网络模型的声场，同时最小化无失真的响应损失函数。仿真结果表明，该神经波束形成器能有效地增强语音信号，且语音质量保持良好。所提出的神经波束形成器还提供源定位和语音活动检测（VAD）功能。
2022-06-20 eess.AS
Towards Low-distortion Multi-channel Speech Enhancement: The ESPNet-SE Submission to The L3DAS22 Challenge
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；Shanghai Jiao Tong University（上海交通大学）；Academia Sinica（中央研究院）
本文介绍了我们提交的L3 DAS 22挑战任务1，其中包括语音增强与三维高保真度立体声麦克风。我们方法的核心将深度神经网络（DNN）驱动的复杂光谱映射与线性波束形成器（如多帧多通道维纳滤波器）相结合。我们提出的系统有两个DNN和一个线性波束形成器。两个DNN都经过训练，使用波形和幅度频谱损失的组合来执行复杂的频谱映射。来自第一DNN的估计信号用于驱动线性波束形成器，并且波束形成结果与该增强信号一起用作第二DNN的额外输入，第二DNN细化估计。然后，根据这个新的估计信号，迭代地运行线性波束形成器和第二DNN。所提出的方法在挑战中排名第一，在评价集上实现了0.984的排名指标，而挑战基线为0.833。
2022-02-24 cs.SD eess.AS
Locate and Beamform: Two-dimensional Locating All-neural Beamformer for Multi-channel Speech Separation
针对多通道语音分离中相近方向声源难以区分的问题，提出仅由混合信号估计方向与二维位置线索并融合到位置感知神经波束形成器的端到端方法，提升整体性能并改善空间重叠场景。
2023-06-02 eess.AS
Guided Speech Enhancement Network
Google LLC（谷歌有限责任公司）
由于语音通信和人机接口的原因，高质量的语音捕获已经被广泛研究。为了提高捕获性能，我们经常可以发现在各种设备上部署的多麦克风语音增强技术。多麦克风语音增强问题通常被分解为两个解耦的步骤：提供空间滤波的波束形成器和清除波束形成器输出的单通道语音增强模型。在这项工作中，我们提出了一个语音增强解决方案，将原始麦克风和波束形成器的输出作为ML模型的输入。我们设计了一个简单而有效的训练方案，该方案允许模型通过对比两个输入来从波束形成器的提示中学习，并大大提高其空间抑制能力，同时进行去噪和去混响的一般任务。所提出的解决方案利用经典的空间滤波算法，而不是与他们竞争。通过设计，波束形成器模块然后可以被单独选择，并且不需要针对给定的形状因子优化大量的数据，并且网络模型可以被认为是独立模块，其独立于麦克风阵列是高度可转移的。我们将解决方案中的ML模块命名为GSENet，即Guided语音增强网络的缩写。我们证明了它的有效性在多麦克风设备上收集的真实世界的数据在抑制噪声和干扰语音。
2023-03-13 cs.LG cs.SD eess.AS
Similarity-and-Independence-Aware Beamformer with Iterative Casting and Boost Start for Target Source Extraction Using Reference
目标源提取对于提高人的语音可懂度和计算机的语音识别性能具有重要意义。本文提出了一种基于相似性和独立性感知的目标源提取方法。SIBF使用粗略的幅度谱图作为参考信号来提取目标源。SIBF的优势在于，与基于深度神经网络的语音增强等目标增强方法生成的频谱图相比，它可以获得更准确的信号。对于提取，我们扩展了通货紧缩的独立成分分析（ICA）的框架，通过考虑参考和提取的目标源之间的相似性，除了所有的潜在源的相互独立性。为了解决最大似然估计的提取问题，我们引入了三种能够反映相似性的源模型。本研究的主要贡献如下。首先，使用两种方法提高提取性能，即加速启动以实现更快的收敛和迭代铸造以生成更准确的参考。通过CHiME3数据集的实验验证了这些方法的有效性。第二，一个固定点的概念有关的准确性。这一概念有助于理解基准电压源和SIBF输出在精度方面的关系。第三，实现了SIBF和基于掩模的波束形成器的统一制定，以将传统BF的专业知识应用于SIBF。本文的研究结果也可以提高SIBF的性能，促进ICA和传统波束形成器的研究。索引词：波束形成器，独立分量分析，源分离，语音增强，目标源提取
2021-10-18 cs.SD eess.AS
ADL-MVDR: All deep learning MVDR beamformer for target speech separation
语音分离算法通常用于将目标语音从其他干扰源中分离出来。然而，基于纯神经网络的语音分离系统经常导致非线性失真，这对于自动语音识别（ASR）系统是有害的。传统的基于掩模的最小方差无失真响应（MVDR）波束形成器可以用来最小化失真，但伴随着高水平的残留噪声。此外，矩阵运算（例如，矩阵求逆）在与神经网络联合训练时有时在数值上不稳定。在本文中，我们提出了一种新的全深度学习MVDR框架，其中矩阵求逆和特征值分解由两个递归神经网络（RNN）代替，以同时解决这两个问题。该方法利用RNN预测的帧间波束形成权值，在保持目标语音不失真的同时，大大降低了残余噪声。该系统是评估的普通话视听语料库和比较几个国家的最先进的（SOTA）语音分离系统。实验结果表明，该方法在几个客观指标和ASR准确性的优越性。
2021-02-09 eess.AS
Spatio-spectral diarization of meetings by combining TDOA-based segmentation and speaker embedding-based clustering
Paderborn University（帕德博恩大学）
本文提出先基于TDOA分段、再基于说话人嵌入聚类的空谱会议分簇流程，无需多通道训练数据或麦克风布置先验，可适配阵列与分布式麦克风，并在重叠语音和说话人移动场景中优于pyannote。
2025-08-29 cs.SD eess.AS
A Robust Maximum Likelihood Distortionless Response Beamformer based on a Complex Generalized Gaussian Distribution
对于多通道语音增强，这封信推导出一个强大的最大似然无失真响应波束形成器建模语音稀疏先验与复杂的广义高斯分布，我们称为CGGD-MLDR波束形成器。该波束形成器可以看作是最小功率无失真响应波束形成器及其改进形式的推广。对于窄带应用，我们还发现，所提出的波束形成器减少到最小的色散无失真响应波束形成器，这已与${{\ell}_{p}}$范数最小化。明确指出了该波束形成器提高鲁棒性的机制，实验结果表明其在PESQ改善方面具有更好的性能。
2021-02-19 eess.AS eess.SP
Spatial Attention for Far-field Speech Recognition with Deep Beamforming Neural Networks
Facebook
在本文中，我们引入了空间注意力的多方向神经波束形成器的信息细化远场自动语音识别。具有多个观看方向的神经波束形成器的先前方法，例如因子化复线性投影，已经显示出有希望的结果。然而，这些方法提取的特征包含冗余信息，因为只有目标语音的方向是相关的。我们建议使用一个空间注意子网来衡量来自不同方向的特征，以便后续的声学模型可以集中在最相关的语音识别的功能。我们的实验结果表明，空间注意力实现了9%的相对字错误率的改善方法没有注意。
2020-03-09 cs.SD eess.AS
Attention-based Neural Beamforming Layers for Multi-channel Speech Recognition
Amazon（亚马逊）
基于注意力的波束形成器最近被证明是有效的多通道语音识别。然而，它们在获取本地信息方面的能力较差。在这项工作中，我们提出了一个2D Conv-Attention模块，它将卷积神经网络与注意力相结合，用于波束成形。我们应用自我注意和交叉注意来明确地对输入通道内和输入通道之间的相关性进行建模。端到端的2D Conv-Attention模型与多头自注意和基于超定向的神经波束形成器进行了比较。我们在内部多通道数据集上进行训练和评估。结果表明，3.8%的相对改善WER所提出的模型在基线神经波束形成器。
2021-05-14 cs.LG cs.SD eess.AS
Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation（雅虎日本公司）
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于，我们专注于唤醒关键字，该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后，分离的信号用于计算波束形成滤波器，以增强来自目标说话人的后续话语。实验结果表明，训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性，我们证实，字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
Multi-channel Multi-frame ADL-MVDR for Target Speech Separation
Indiana University（印第安纳大学）；Tencent AI Lab（腾讯AI Lab）
已经提出了许多基于纯神经网络的语音分离方法来提高客观评估分数，但是它们经常引入对现代自动语音识别（ASR）系统有害的非线性失真。通常采用最小方差无失真响应（MVDR）滤波器来去除非线性失真，然而，传统的基于神经掩模的MVDR系统仍然导致相对高水平的残余噪声。此外，在与神经网络的联合训练期间，MVDR解决方案中涉及的矩阵求逆有时在数值上是不稳定的。在这项研究中，我们提出了一种用于目标语音分离的多通道多帧（MCMF）全深度学习（ADL）-MVDR方法，该方法扩展了我们初步的多通道ADL-MVDR方法。所提出的MCMF ADL-MVDR系统解决了线性和非线性失真。时空互相关也充分利用在所提出的方法。所提出的系统进行评估，使用普通话视听语料库，并与几个国家的最先进的方法进行比较。实验结果表明，我们提出的系统在不同的情况下，并在几个客观的评价指标，包括ASR性能的优越性。
2021-11-15 cs.SD eess.AS
Multi-channel Replay Speech Detection using an Adaptive Learnable Beamformer
本文提出多通道神经网络架构 M-ALRAD，将可学习自适应波束形成器与卷积循环网络联合优化，在 ReMASC 数据集上显著提升重放攻击检测性能及跨环境泛化能力。
2025-05-06 eess.AS eess.SP
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH（Nuance通讯有限公司）；Nuance Communications Inc.（Nuance通讯公司）；Nuance Communications S.A.（Nuance通讯股份公司）
当提供足够大的远场训练数据时，联合优化多通道前端和端到端（E2E）自动语音识别（ASR）后端显示出有希望的结果。最近的文献表明，传统的波束形成器设计，如MVDR（最小方差无失真响应）或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中，我们提出了自注意通道组合器（SACC）ASR前端，它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明，与最先进的基于固定波束形成器的前端相比，SACC实现了9.3%的WERR，两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接，并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
HyBeam: Hybrid Microphone-Beamforming Array-Agnostic Speech Enhancement for Wearables
HyBeam提出混合框架，低频用原始麦克风信号、高频用波束成形信号，实现阵列无关的语音增强，在PESQ、STOI和SI-SDR上超越单一基线。
2025-10-26 eess.AS eess.SP
Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
多麦克风语音分离的一种有前途的方法涉及两个深度神经网络（DNN），其中来自第一个DNN的预测目标语音用于计算时不变最小方差无失真响应（MVDR）波束成形的信号统计，然后MVDR结果用作第二个DNN的额外特征以预测目标语音。以往的研究表明，MVDR结果可以为第二个DNN提供补充信息，以更好地预测目标语音。然而，在固定几何阵列上，两个DNN都可以将例如多通道混合的实部和虚部（RI）分量作为特征来利用空间和频谱信息进行增强。考虑到DNN和波束形成器使用相同的输入，并且DNN执行非线性滤波并且可能使得MVDR的线性滤波不必要，没有清楚地解释为什么线性MVDR结果可以是互补的以及为什么仍然需要它。类似地，在单声道情况下，可以用单声道加权预测误差（WPE）滤波器来代替MVDR波束形成器。虽然线性WPE滤波器和DNN使用相同的混合RI分量作为输入，但发现WPE结果显著改善了第二DNN。这项研究提供了一个新的解释，从这种算法的低失真性质的角度来看，并发现他们可以不断提高相位估计。有了这样的理解，我们研究了几种低失真的目标估计算法，包括几个波束形成器，WPE，前向卷积预测，以及它们的组合，并使用它们的结果作为额外的功能，训练第二个网络，以实现更好的增强。单麦克风和多麦克风语音去混响和增强任务的评估结果表明，所提出的方法的有效性，所提出的观点的有效性。
2021-10-01 cs.SD eess.AS
Localizing Spatial Information in Neural Spatiospectral Filters
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文以COSPA为例研究神经空间谱滤波器如何表示空间信息，发现其空间信息由同时访问所有通道的GRU层特征表示，且仅依赖于波达方向。
2023-07-03 cs.SD eess.AS
Deep Beamforming for Speech Enhancement and Speaker Localization with an Array Response-Aware Loss Function
提出基于CRN和ARROW损失函数的深度波束成形器，联合实现语音增强与说话人定位，性能优于基线方法。
2023-10-22 eess.AS
Optimal Binaural LCMV Beamforming in Complex Acoustic Scenarios: Theoretical and Practical Insights
University of Oldenburg（奥尔登堡大学）；Starkey Hearing Technologies（斯达克听力技术公司）
用于头戴式助听设备的双耳波束形成算法对于提高噪声环境中的语音质量和语音可懂度，同时保持声学场景的空间印象至关重要。虽然众所周知的BMVDR波束形成器能够保留一个期望源的双耳线索，但BLCMV波束形成器使用附加约束来也保留干扰源的双耳线索。在本文中，我们提供了理论和实践的见解如何最佳地设置在BLCMV波束形成器的干扰缩放参数为任意数量的干扰源。此外，由于在实践中，只有有限的时间观察间隔可用于估计所有所需的波束形成器的数量，我们提供了一个实验评估在一个复杂的声学场景中使用测量的脉冲响应助听器在自助餐厅不同的观察间隔。结果表明，即使是相当短的观察间隔是足够的，以实现体面的降噪性能和建议的阈值上的最佳干扰缩放参数导致较小的双耳提示错误在实践中。
2018-07-12 cs.SD eess.AS
Adaptive Dereverberation, Noise and Interferer Reduction Using Sparse Weighted Linearly Constrained Minimum Power Beamforming
干扰源、背景噪声和混响降低了助听器应用中的语音质量和可懂度。在本文中，我们提出了一种自适应算法，旨在去混响，噪声和混响减少和保留的双耳线索的基础上wBLCMP波束形成器。wBLCMP波束形成器将执行去混响的多通道加权预测误差方法和执行噪声和干扰降低的线性约束最小功率波束形成器统一到单个卷积波束形成器中。我们建议自适应计算的最佳滤波器，将指数窗口到稀疏促进LP-范数代价函数，这使得能够跟踪移动目标扬声器。与连续的目标扬声器在不同位置的仿真结果表明，所提出的自适应版本的wBLCMP波束形成器优于非自适应版本的客观语音增强性能指标。
2023-03-13 eess.AS
TaylorBeamixer: Learning Taylor-Inspired All-Neural Multi-Channel Speech Enhancement from Beam-Space Dictionary Perspective
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent Corporation（腾讯公司）
尽管现有的帧式全神经波束形成器在语音增强领域有着良好的性能，但仍然不清楚其潜在的机制。在本文中，我们从波束空间字典的角度重新审视波束形成行为，并将其公式化为不同波束空间分量的学习和混合。在此基础上，我们提出了一个全神经波束形成器TaylorBM模拟泰勒级数展开操作，其中0阶项作为一个空间滤波器进行波束混合，和几个高阶项的任务与残余噪声消除后处理。整个系统被设计为以端到端的方式工作。在空间化的LibriSpeech语料库上进行的实验表明，该方法在评价指标上优于现有的高级基线。
2022-11-30 cs.SD eess.AS
Loudspeaker Beamforming to Enhance Speech Recognition Performance of Voice Driven Applications
Multimedia Computing Group, EEMCS, Delft University of Technology（多媒体计算组、电子与信息科学系、代尔夫特理工大学）
针对扬声器噪声干扰语音驱动应用识别的问题，提出基于听觉感知失真约束的扬声器波束成形算法，可在设备周围形成低声能区，实验验证其能提升各场景下的语音识别性能，且可通过牺牲听众端音频质量进一步降低设备周边声能。
2025-01-14 cs.SD eess.AS
SPMamba: State-space model is all you need in speech separation
Tsinghua University（清华大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究院）
本文提出SPMamba语音分离方法，在TF-GridNet中以双向Mamba替换BLSTM，线性复杂度建模长程时频依赖，并在多个数据集上实现更优性能与更低复杂度。
2024-09-10 cs.AI cs.SD eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London（伦敦帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种两阶段多通道语音增强算法，结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性，通过混合波束形成器和宽带子空间后置滤波器，在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
NICE-Beam: Neural Integrated Covariance Estimators for Time-Varying Beamformers
Reality Labs Research（现实实验室研究院）
估计波束成形算法的时变空间协方差矩阵是一项具有挑战性的任务，特别是对于可穿戴设备，因为该算法必须补偿由于快速姿态变化而引起的时变信号统计。在本文中，我们提出了神经集成协方差估计波束形成器，NICE-Beam。NICE-Beam是一种学习如何估计时变空间协方差矩阵的通用技术，我们将其应用于联合语音增强和去混响。它基于训练神经网络模块来跨时间非线性地跟踪和利用场景信息。我们将我们的解决方案集成到一个波束成形管道中，它可以实现简单的训练，比实时推理更快，以及各种测试时自适应选项。我们评估所提出的模型对一套基线的场景与固定和移动麦克风。我们的研究结果表明，所提出的方法可以优于手工调整的估计，尽管手工调整的估计使用Oracle声源分离知识。
2021-12-08 cs.SD eess.AS
Advances in Online Audio-Visual Meeting Transcription
Microsoft（微软）
本文描述了一个系统，通过使用麦克风阵列和360度摄像头生成扬声器注释的会议记录。该系统的特点是它能够处理重叠的语音，这在现实环境中一直是一个未解决的问题超过十年。我们表明，这个问题可以通过使用连续语音分离方法来解决。此外，我们描述了一种在线视听扬声器日记化方法，利用人脸跟踪和识别，声源定位，扬声器识别，如果可用的话，以前的扬声器信息的鲁棒性，以各种现实世界的挑战。所有组件都集成在一个称为SRD的会议转录框架中，SRD代表“分离，识别和日记化”。使用录音的自然会议，涉及多达11名与会者的实验结果报告。与高度调谐的波束形成器相比，连续语音分离将字错误率（WER）提高了16.1%。当会议出席者的完整列表可用时，WER和演讲者归因的WER之间的差异仅为1.0%，这表明准确的单词到演讲者的关联。当50%的与会者对系统未知时，这一比例略微增加到1.6%。
2019-12-10 cs.CL cs.CV cs.SD
Continuous Speech Separation with Ad Hoc Microphone Arrays
Microsoft（微软）
语音分离对于多说话者语音识别是有效的。在阵列由空间分布的异步麦克风组成的自组织麦克风阵列设置下，必须克服额外的挑战，因为麦克风的几何形状和数量事先是未知的。已有的研究表明，神经网络具有时空交织结构，可以有效地利用自组织阵列的多通道信号。在本文中，我们进一步扩展这种方法，连续语音分离。介绍了几种技术，使真正的连续录音语音分离。首先，我们应用基于变换器的网络的时空建模的ad hoc阵列信号。此外，提出了两种方法，以减轻语音重复的问题，在单一的谈话者段，这似乎更严重的特设阵列的情况下。一种方法是用于减少模拟训练数据和真实记录之间的声学失配的设备失真模拟。另一种是说话人计数，检测单个说话人段并合并输出信号通道。AdHoc-LibiCSS是一个新的数据集，由多个不同设备获得的串联LibriSpeech话语的连续记录组成，实验结果表明，所提出的分离方法可以显着提高重叠语音的ASR准确性，并且对于单个说话者段的性能下降很少。
2021-03-03 cs.AI cs.LG cs.SD
Real-time Audio Video Enhancement \\with a Microphone Array and Headphones
本文提出了一个完整的硬件和软件流水线的实时语音增强在噪声和混响条件。该设备由一个麦克风阵列和一个安装在眼镜上的摄像头组成，连接到一个嵌入式系统，该系统可以增强语音并在耳机中播放音频，最大延迟为120毫秒。所提出的方法依赖于人脸检测，跟踪和验证，以提高使用波束形成器和后置滤波神经网络的目标扬声器的语音。实验结果证明了该方法的可行性，为探索和验证各种波束形成器和语音增强方法的实时语音增强方法打开了大门。
2023-03-02 eess.AS
Mask-Based Speech Enhancement for Spatial Audio: A Comparison of Ambisonics, Beamforming, and Microphone Channels
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本研究系统比较了掩码语音增强在麦克风、波束成形和Ambisonics三种空间音频表示中的性能，发现波束成形域增强效果最佳，而Ambisonics域更利于保留空间属性。
2026-09-17 eess.AS
Listen first: Output-based multi-microphone speech enhancement
Aalborg University（奥尔堡大学）；Eriksholm Research Centre（埃里克舍姆研究中心）
研究针对传统助听器语音增强算法在复杂场景中特征提取不可靠的问题，提出基于输出特性确定声音处理系统设置的范式，采用基于输出的MPDR波束形成器系统，实验证明该系统在多指标上优于传统MVDR基线。
2026-07-15 eess.AS
Is the Ideal Ratio Mask Really the Best? -- Exploring the Best Extraction Performance and Optimal Mask of Mask-based Beamformers
Tokyo Institute of Technology（东京工业大学）；Honda Research Institute Japan Co., Ltd.（本田日本研究院有限公司）
本文通过CHiME-3实验系统比较四种基于掩模的波束形成器，发现它们可达到相同的峰值提取性能，但最优掩模因方法而异且不同于理想比值掩模，从而修正了传统设计假设。
2023-09-21 cs.SD eess.AS eess.SP
Array Geometry-Robust Attention-Based Neural Beamformer for Moving Speakers
NTT Corporation（NTT公司）；Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
本文针对ASA波束形成器对麦克风阵列几何变化敏感的问题，提出随机通道配置训练、变换-平均-拼接和鲁棒输入特征三种方法，在CHiME-3和DEMAND上验证了其对未见阵列下移动说话人的跟踪能力。
2024-06-17 cs.SD eess.AS
SRIB-LEAP submission to Far-field Multi-Channel Speech Enhancement Challenge for Video Conferencing
Indian Institute of Science（印度科学理工学院）
本文介绍了SRIB-LEAP向2021年会议语音挑战赛提交的详细信息。该挑战涉及多通道语音增强的任务，以提高视频会议室中麦克风阵列的远场语音质量。我们提出了一个两阶段的方法，涉及一个波束形成器，然后单通道增强。对于波束形成器，我们将自注意机制作为滤波求和网络（FaSNet）的通道间处理层，这是一种端到端的时域波束形成系统。使用基于卷积神经网络（CNN）-长短期记忆（LSTM）的架构在对数谱域中完成单通道语音增强。我们实现了客观质量指标的改进-语音质量感知评估（PESQ）的噪声数据为0.5。在主观质量评价方面，该方法在噪声音频上将平均意见得分（MOS）提高了0.9的绝对测量值。
2021-06-24 cs.SD eess.AS eess.IV
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）
本文提出了，在多通道ASR的背景下，一种方法来适应基于掩模的，统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算，所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器，其中包括掩模估计网络，和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定，掩模估计网络因此可以通过再训练来微调。因此，感兴趣的说话者的话语可以在两遍方法中使用，以针对该特定说话者的语音特性优化波束成形。结果表明，这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外，估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
Subspace Hybrid Beamforming for Head-worn Microphone Arrays
提出了一种两阶段多通道语音增强方法，该方法由一种新的自适应波束形成器、混合最小方差无失真响应（MVDR）、各向同性MVDR（Iso）和一种新的多通道谱主成分分析（PCA）去噪组成。在第一阶段，混合MVDR使用预定义的噪声场模型的字典执行多个MVDR，并选择最小功率结果，这得益于信号无关波束形成的鲁棒性和自适应波束形成的性能。在第二阶段，混合和ISO的结果联合使用在一个基于PCA的双通道去噪，以消除由混合波束形成器产生的“音乐噪声”。在头戴式阵列的真实“鸡尾酒会”录音数据集上，所提出的方法在噪声抑制（fwSegSNR，SDR，SIR，SAR）和语音清晰度（STOI）方面优于基线超定向波束形成器，并具有类似的语音质量（PESQ）改善。
2023-03-15 eess.AS eess.SP
