Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation(雅虎日本公司)
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于,我们专注于唤醒关键字,该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后,分离的信号用于计算波束形成滤波器,以增强来自目标说话人的后续话语。实验结果表明,训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性,我们证实,字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
ASoBO: Attentive Beamformer Selection for Distant Speaker Diarization in Meetings
LIUM(LIUM实验室);Institut Claude Chappe(克劳德·沙普研究所);Le Mans Université(勒芒大学);LAUM(LAUM实验室);IA-GS(IA-GS机构);UMR CNRS 6613(法国国家科学研究中心联合单位6613号)
本文提出ASoBO算法,利用自注意力机制选择固定空间滤波器输出作为特征,联合进行VAD和OSD以推断说话人日志,在AISHELL-4上达到14.5%的DER且注意力权重具可解释性。
2024-06-05 cs.AI cs.SD eess.AS
3D Neural Beamforming for Multi-channel Speech Separation Against Location Uncertainty
Tencent AI Lab(腾讯人工智能实验室)
利用说话人的方向信息进行多通道语音分离,比盲语音分离有明显的优势。然而,它有两个局限性。首先,当两个声音的到来方向接近时,观察到实质性的性能下降。第二,结果高度依赖于说话人方向的精确估计。为了克服这些问题,本文提出了3D功能和相关的3D神经波束形成器的多通道语音分离。以前在这方面的工作是在两个重要的方向延伸。首先,将传统的1D定向波束方向图推广到3D。这使得模型能够从3D空间中的任何目标区域提取语音。因此,具有相似方向但不同高度或距离的扬声器变得可分离。其次,为了处理说话人位置的不确定性,以前提出的空间特征扩展到一个新的三维区域特征。提出的3D区域特征和3D神经波束形成器在车内场景下进行评估。实验结果表明,三维特征和三维波束形成器的组合可以实现与地面真实说话人位置作为输入的分离模型相当的性能。
2023-02-27 cs.SD eess.AS
Explainable DNN-based Beamformer with Postfilter
本文提出ExNet-BF+PF方法,结合U-Net与波束形成器结构,采用两阶段处理流程并引入注意力机制提升语音增强效果,同时通过空间分析增强网络可解释性,实验证明其易训练且无需说话者活动先验知识即可获优。
2024-11-16 eess.AS
Informed FastICA: Semi-Blind Minimum Variance Distortionless Beamformer
Technical University of Liberec(利贝雷茨技术大学);Naval Surface Warfare Center Carderock Division(卡德洛克分部海军水面作战中心)
该研究提出带先验信息的半盲FastICA/FastIVA变体,用MVDR解析形式替换原算法的正交约束,以加权协方差矩阵提供辅助信息,在模型驱动与学习驱动的提取方法间建立关联,经测试收敛快、性能良好。
2024-07-12 cs.SD eess.AS eess.SP
Investigating the Integration of Spatial Information in Foundation-Model-Based Speaker Diarization
Paderborn University(帕德博恩大学)
研究基于基础模型的说话人聚类中空间信息整合,比较波束形成器与基础模型级联、多通道基础模型、基于提取空间特征对下游网络条件设定三种方法,发现条件设定法性能最佳且能消除相关错误,是有竞争力的方法。
2026-07-15 eess.AS
Locate and Beamform: Two-dimensional Locating All-neural Beamformer for Multi-channel Speech Separation
针对多通道语音分离中相近方向声源难以区分的问题,提出仅由混合信号估计方向与二维位置线索并融合到位置感知神经波束形成器的端到端方法,提升整体性能并改善空间重叠场景。
2023-06-02 eess.AS
A Robust Target Linearly Constrained Minimum Variance Beamformer With Spatial Cues Preservation for Binaural Hearing Aids
WS Audiology(西万拓听力技术公司)
本文介绍了一种用于助听器的双耳波束形成算法,该算法被设计为对目标说话人方向估计中的误差具有鲁棒性。该算法有两个主要组成部分:一个强大的目标线性约束最小方差(TLCMV)算法的基础上施加两个约束周围的目标信号的估计方向,和一个后处理器,以帮助保存双耳线索。鲁棒TLCMV提供了一个良好的降噪水平和低水平的目标失真在现实条件下。后处理器增强了波束形成器的能力,以保留针对扩散样背景噪声和定向干扰者(竞争扬声器)的双耳线索,同时保持良好的降噪水平。该算法不需要知道或估计定向干扰源的方向,也不需要噪声分量的二阶统计量。所介绍的算法需要估计的目标扬声器的方向,但它的目的是强大的一些偏离估计的方向。与最近提出的国家的最先进的方法相比,综合评估下,在消声和轻度混响环境中产生的复杂的现实的声学场景,考虑到估计和真实的源到达波达方向之间的失配。还考虑了用于波束形成器设计的消声传播模型与用于生成模拟定向信号的轻度混响传播模型之间的失配。结果表明,该算法的鲁棒性,这样的不匹配。
2019-11-20 cs.SD eess.AS
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University(亚琛工业大学)
本文提出了,在多通道ASR的背景下,一种方法来适应基于掩模的,统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算,所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器,其中包括掩模估计网络,和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定,掩模估计网络因此可以通过再训练来微调。因此,感兴趣的说话者的话语可以在两遍方法中使用,以针对该特定说话者的语音特性优化波束成形。结果表明,这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外,估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
Distributed Node-Specific Block-Diagonal LCMV Beamforming in Wireless Acoustic Sensor Networks
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Research Institute of Highway Ministry of Transport(交通运输部公路科学研究院)
在考虑噪声协方差矩阵为块对角阵的情况下,从集中式线性约束最小方差(LCMV)波束形成器出发,推导了一种新的分布式节点特定块对角线性约束最小方差波束形成器的解析解。为了进一步降低波束形成器的计算复杂度,引入了ShermanMorrison-Woodbury公式来计算噪声样本协方差矩阵的求逆。通过这样做,可以在节点之间以较低维度计算交换的信号,其中最佳LCMV波束形成器在每个节点处仍然可用,就好像每个节点要发送其所有原始传感器信号观测一样。所提出的波束形成器是完全可分布的,而不会对底层网络拓扑施加限制或缩放计算复杂度,即,当新节点被添加到网络时,每个节点的复杂性没有增加。与现有的基于节点的分布式算法相比,该算法能够精确地逐帧求解LCMV波束形成器,具有更低的计算复杂度,对声学传递函数估计误差和语音活动检测误差具有更强的鲁棒性。大量的实验结果验证了所提出的波束形成器的有效性。
2020-10-26 cs.SD eess.AS
Covariance Blocking and Whitening Method for Successive Relative Transfer Function Vector Estimation in Multi-Speaker Scenarios
本文提出了一种用于多说话人连续激活场景的协方差阻塞与白化(CBW)方法,通过阻塞第一个说话人、白化噪声并基于奇异值分解估计第二个说话人的RTF向量,在信干噪比提升上优于传统BOP和协方差白化方法。
2023-10-25 eess.AS
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab(腾讯AI实验室)
本文旨在消除干扰说话人的语音,加性噪声,混响从嘈杂的多说话人的语音混合,有利于自动语音识别(ASR)后端。虽然最近提出的加权功率最小化无失真响应(WPD)波束形成器可以同时执行分离和去混响,但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”,通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失,包括复谱域尺度不变信噪比(C-Si-SNR)和幅度域均方误差(Mag-MSE),对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明,WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
An End-to-end Architecture of Online Multi-channel Speech Separation
Microsoft STCA Beijing(微软亚太研发集团北京)
多说话人语音识别突破了现有语音识别系统中说话人为单个说话人的假设,成为会话转录的关键挑战之一。语音分离被认为是解决这个问题的一种方法。在此之前,我们介绍了一个系统,称为dunmixing,固定波束形成器和提取(UFE),这被证明是有效的,在解决会话转录的语音重叠问题。在UFE中,输入混合信号由固定波束形成器处理,然后进行神经网络后滤波。虽然取得了可喜的成果,该系统包含多个单独开发的模块,导致潜在的次优性能。在这项工作中,我们介绍了一个端到端的建模版本的UFE。为了使梯度传播的所有方式,提出了一个注意力选择模块,其中注意力权重是学习每个波束形成器和空间特征在空间上采样。实验结果表明,该系统在离线评估中与原始的基于单独处理的流水线实现了可比较的性能,同时在在线评估中产生了可扩展的改进。
2020-09-07 cs.SD eess.AS
Mask-Weighted Spatial Likelihood Coding for Speaker-Independent Joint Localization and Mask Estimation
University of Hamburg(汉堡大学)
提出掩码加权空间似然编码,将时频掩码与声源位置统一编码到固定空间网格,实现说话人无关的联合定位与掩码估计,并可仅通过训练框架调整替代上游声源定位系统。
2025-01-08 cs.LG cs.SD eess.AS
NICE-Beam: Neural Integrated Covariance Estimators for Time-Varying Beamformers
Reality Labs Research(现实实验室研究院)
估计波束成形算法的时变空间协方差矩阵是一项具有挑战性的任务,特别是对于可穿戴设备,因为该算法必须补偿由于快速姿态变化而引起的时变信号统计。在本文中,我们提出了神经集成协方差估计波束形成器,NICE-Beam。NICE-Beam是一种学习如何估计时变空间协方差矩阵的通用技术,我们将其应用于联合语音增强和去混响。它基于训练神经网络模块来跨时间非线性地跟踪和利用场景信息。我们将我们的解决方案集成到一个波束成形管道中,它可以实现简单的训练,比实时推理更快,以及各种测试时自适应选项。我们评估所提出的模型对一套基线的场景与固定和移动麦克风。我们的研究结果表明,所提出的方法可以优于手工调整的估计,尽管手工调整的估计使用Oracle声源分离知识。
2021-12-08 cs.SD eess.AS
Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室);University of Oldenburg(奥尔登堡大学)
在多说话人环境下,语音增强算法的性能取决于正确识别要增强的目标说话人。听觉注意解码(AAD)方法允许从单次试验EEG记录中识别听者正在注意的目标说话者。针对增强目标说话人和抑制干扰说话人、混响和环境噪声的问题,本文提出了一种认知驱动的多麦克风语音增强系统,该系统结合了基于神经网络的掩蔽估计器、加权最小功率无失真响应卷积波束形成器和AAD。为了控制干扰扬声器的抑制,我们还提出了一个扩展,将干扰抑制约束。实验结果表明,该系统优于国家的最先进的认知驱动的语音增强系统在具有挑战性的混响和噪声条件。
2020-05-10 cs.SD eess.AS eess.SP
Cracking the cocktail party problem by multi-beam deep attractor network
Microsoft AI and Research(微软人工智能与研究院)
虽然神经网络方法在单通道语音分离,或更一般的鸡尾酒会问题,取得了显着的改善,其性能复杂的混合物仍然不能令人满意。在这项工作中,我们提出了一种新的多通道框架多说话者分离。在该模型中,输入的多通道混合信号首先被转换成一组波束形成的信号使用固定的波束方向图。对于这种波束形成,我们建议使用差分波束形成器,因为它们更适合语音分离。然后将每个波束形成的信号馈送到单通道锚定深度吸引子网络以生成分离的信号。最后通过对各光束的分离输出进行后选,得到最终的分离结果。为了评估所提出的系统,我们创建了一个具有挑战性的数据集,包括2,3或4个扬声器的混合物。我们的研究结果表明,该系统大大提高了语音分离的最新技术水平,实现了11.5 dB,11.76 dB和11.02 dB的平均信号失真比改善4,3和2重叠扬声器混合,这是一个最小方差无失真响应波束形成器,使用预言机的位置,源和噪声信息的性能相媲美。我们还运行语音识别与一个干净的训练声学模型上分离的语音,实现相对字出错率(WER)减少45.76%,59.40%和62.80%的完全重叠的语音4,3和2扬声器,分别。利用远距离通话声学模型,WER被进一步降低。
2018-03-29 cs.SD eess.AS
Deep Neural Mel-Subband Beamformer for In-car Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
虽然目前基于深度学习(DL)的波束成形技术已被证明在语音分离中是有效的,但它们通常被设计为独立处理窄带(NB)频率,这导致更高的计算成本和推理时间,使它们不适合现实世界的使用。在本文中,我们提出了基于DL的梅尔子带时空波束形成器进行语音分离在汽车环境中,减少计算成本和推理时间。相对于传统的子带(SB)的方法,我们的框架使用了一个梅尔规模为基础的子带选择策略,确保了细粒度的处理较低的频率,其中大多数语音共振峰结构是存在的,和粗粒度的处理较高的频率。以递归的方式,从估计的子带语音和噪声协方差矩阵中为汽车中的每个扬声器位置/区域确定鲁棒的帧级波束成形权重。此外,所提出的框架还通过使用回声参考信号来估计和抑制来自扬声器的任何回声。我们比较了我们提出的框架的性能,几个NB,SB和全频带(FB)处理技术的语音质量和识别指标。基于模拟和真实世界的录音实验评估,我们发现,我们提出的框架实现了更好的分离性能在所有SB和FB方法,并实现性能接近NB处理技术,同时需要较低的计算成本。
2023-03-11 cs.LG cs.SD eess.AS
Streaming Noise Context Aware Enhancement For Automatic Speech Recognition in Multi-Talker Environments
Amazon(亚马逊);Google(谷歌)
智能扬声器最具挑战性的场景之一是多说话者,当来自所需说话者的目标语音与来自一个或多个说话者的干扰语音混合时。智能助理需要确定识别哪些语音,忽略哪些语音,并且需要以流媒体,低延迟的方式进行。本文提出了两种针对这种情况的多麦克风语音增强算法。针对设备上的用例,我们假设算法可以访问热词之前的信号,这被称为噪声上下文。首先是上下文感知波束形成器,它使用噪声上下文和检测到的热词来确定如何瞄准所需的扬声器。第二种是称为Speech Cleaner的自适应噪声消除算法,该算法使用噪声上下文来训练滤波器。结果表明,这两种算法是互补的信号噪声比的条件下,他们工作得很好。我们还提出了一种算法来选择使用哪一个估计的SNR的基础上。当使用3个麦克风通道时,最终系统在-12dB和12 dB处分别实现了55%和43%的相对字错误率降低。
2022-05-17 cs.SD eess.AS
Interpretable Binaural Deep Beamforming Guided by Time-Varying Relative Transfer Function
Bar-Ilan University(巴伊兰大学)
本文提出了一种基于时变相对传输函数的双耳深度波束成形框架,用于动态目标说话人增强,通过深度神经网络学习波束成形权重并保持空间线索。
2026-02-17 eess.AS
TF-GridNet: Integrating Full- and Sub-Band Modeling for Speech Separation
Carnegie Mellon University(卡内基梅隆大学);Università Politecnica delle Marche(马尔凯理工大学);Hyundai Motor Group(现代汽车集团);dot Inc.(42dot公司)
本文提出 TF-GridNet,通过在时频域集成全频带与子频带建模并执行复频谱映射进行语音分离,在多项单/多通道分离、去混响与增强任务中达到当前最优性能。
2023-08-04 cs.SD eess.AS
Investigation into Target Speaking Rate Adaptation for Voice Conversion
将语音信号的说话者和内容属性分解为单独的潜在表示,然后用交换的说话者表示对内容进行解码,这是一种流行的语音转换方法,可以用非并行和未标记的语音数据进行训练。然而,以前的方法仅通过某种信息瓶颈或归一化来隐式地执行解纠缠,其中通常难以在语音转换和内容重构之间找到良好的折衷。此外,以前的作品通常不考虑说话速率对目标说话者的适应,或者他们对数据或用例施加了一些主要限制。因此,这项工作的贡献是双重的。首先,我们采用了一种明确的、完全无监督的解纠缠方法,这种方法以前只用于表示学习,并表明它可以获得更好的语音转换和内容重建。其次,我们调查简单和通用的方法来线性地适应语音信号的长度,因此,说话速率,目标扬声器,并表明,所提出的适应允许增加相对于目标扬声器的说话速率相似性。
2022-09-05 eess.AS
MIMO-SPEECH: End-to-End Multi-Channel Multi-Speaker Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
最近,端到端的方法已经证明了其在单声道多说话人语音识别中的有效性。然而,高字错误率(WER)仍然阻止这些系统在实际应用中使用。另一方面,多通道信号中的空间信息已被证明有助于远场语音识别任务。在这项工作中,我们提出了一种新的神经序列到序列(seq 2seq)的架构,MIMO-Speech,它扩展了原来的seq 2seq处理多通道输入和多通道输出,使它可以完全模拟多通道多说话人语音分离和识别。MIMO-Speech是一个完全神经的端到端框架,仅通过ASR标准进行优化。它包括:1)单耳掩蔽网络,2)多源神经波束形成器,和3)多输出语音识别模型。通过这种处理,输入的重叠语音被直接映射到文本序列。我们进一步采用了课程学习策略,充分利用训练集来提高性能。在空间化wsj 1 - 2 mix语料库上的实验表明,与单通道系统相比,该模型可以实现60%以上的WER降低,并具有高质量的增强信号(SI-SDR = 23.1 dB)。
2019-10-16 cs.CL cs.SD eess.AS
End-to-End Multi-speaker Speech Recognition with Transformer
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
最近,基于全递归神经网络(RNN)的端到端模型已被证明是有效的多说话人语音识别在单通道和多通道的情况下。在这项工作中,我们探讨了使用Transformer模型,这些任务的重点是两个方面。首先,我们将语音识别模型中基于RNN的编码器-解码器替换为Transformer架构。其次,为了在多通道情况下在神经波束形成器的掩蔽网络中使用Transformer,我们将自注意分量修改为仅限于一段而不是整个序列,以减少计算。除了模型架构的改进,我们还结合了外部去混响预处理,加权预测误差(WPE),使我们的模型能够处理混响信号。在空间化wsj 1 - 2 mix语料库上的实验表明,在单通道和多通道任务中,基于transformer的模型分别实现了40.9%和25.6%的相对WER降低,分别下降到12.1%和6.4%;而在混响情况下,我们的方法实现了41.5%和13.8%的相对WER降低,分别为16.5%和15.2%。
2020-02-13 cs.CL cs.SD eess.AS
Mask-based Neural Beamforming for Moving Speakers with Self-Attention-based Tracking
NTT Corporation(日本电信电话株式会社)
波束形成是一种强大的工具,旨在增强来自目标源方向的语音信号。计算波束成形滤波器需要估计源信号和噪声信号的空间协方差矩阵(SCM)。时频掩模通常用于计算这些SCM。基于掩模的波束形成的大多数研究都假设源不移动。然而,在实际应用中,源经常移动,这会导致性能下降。在本文中,我们解决的问题,基于掩模的波束形成运动源。我们首先回顾经典的方法来跟踪一个移动的源,它执行在线或块计算的SCM。我们表明,这些方法可以被解释为计算注意权重加权的瞬时SCM的总和。这些权重指示在SCM计算中要考虑信号的哪些时间帧。在线或分块计算假设一种启发式和确定性的方式来计算这些注意力权重,虽然简单,但可能不会产生最佳性能。因此,我们引入了一个基于学习的框架,计算波束成形的最佳注意力权重。我们使用一个带有自我注意层的神经网络来实现这一点。我们的实验表明,我们提出的框架可以大大提高波束形成的性能在移动源的情况下,同时保持高性能在非移动的情况下,从而使基于掩模的波束形成器的发展源运动鲁棒。
2022-05-07 cs.SD eess.AS
MIMO-DBnet: Multi-channel Input and Multiple Outputs DOA-aware Beamforming Network for Speech Separation
Tianjin University(天津大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Beijing Xiaoju Technology Co., Ltd.(北京小桔科技有限公司)
最近,已经提出了许多基于深度学习的波束形成器用于多通道语音分离。然而,他们中的大多数依赖于预先已知的额外线索,如说话人特征,面部图像或方向信息。在本文中,我们提出了一个端到端的波束形成网络的方向引导的语音分离,仅给定的混合信号,即MIMO-DBnet。具体来说,我们设计了一个多通道输入和多个输出架构来预测每个源的基于到达方向的嵌入和波束成形权重。精确估计的方向嵌入为神经波束形成器提供了非常有效的空间鉴别指导,以抵消相位缠绕的影响,从而允许更准确地重建两个源的语音信号。实验表明,与基线系统相比,我们提出的MIMO-DBnet不仅实现了全面的可观改进,而且在发生相位包裹时仍能保持高频段的性能。
2022-12-07 cs.LG cs.SD eess.AS
kNN Retrieval for Simple and Effective Zero-Shot Multi-speaker Text-to-Speech
Idiap Research Institute(伊迪亚普研究所);EPFL, École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
提出 kNN-TTS 框架,利用 SSL 特征间的线性关系进行检索,仅需单说话人数据即可实现零样本多说话人语音合成,性能媲美大规模训练的模型,并支持细粒度声音变形。
2025-02-03 cs.AI cs.LG cs.SD
USDnet: Unsupervised Speech Dereverberation via Neural Forward Filtering
针对单说话人多麦克风混响场景,提出无监督语音去混响网络USDnet,利用多麦克风信号作为约束,结合神经前向滤波正则化网络输出,实现单源混响语音的无监督去混响。
2024-08-13 eess.AS eess.SP
Block-Online Multi-Channel Speech Enhancement Using DNN-Supported Relative Transfer Function Estimates
Faculty of Mechatronics, Informatics, and Interdisciplinary Studies, Technical University of Liberec(机械电子与交叉学科学院,利贝雷茨技术大学)
本文提出了一种基于DNN的块在线多通道语音增强方法,通过估计相对传输函数来实现波束成形,并在动态环境中处理短语音,提升了语音增强的鲁棒性。
2019-12-11 cs.SD cs.SY eess.AS
Sequential Multi-Frame Neural Beamforming for Speech Separation and Enhancement
Google(谷歌)
这项工作介绍了顺序神经波束形成,它交替基于神经网络的频谱分离和波束形成的空间分离。我们用于分离的神经网络使用了一种先进的卷积架构,该架构使用了一种新的稳定的信噪比损失函数进行训练。对于波束形成,我们探索了多种计算时变协方差矩阵的方法,包括将空间协方差分解为时变幅度分量和时不变空间分量,以及使用基于块的技术。此外,我们介绍了一种多帧波束形成方法,通过将上下文帧添加到波束形成公式中来显着改善结果。我们广泛地评估和分析这些方法的窗口大小,块大小和多帧上下文大小的影响。我们最好的方法利用了一系列的三个神经分离和多帧时不变的空间波束形成阶段,并证明了一个平均改善2.75 dB的尺度不变的信噪比和14.2%的绝对减少比较语音识别度量跨越四个具有挑战性的混响语音增强和分离任务。我们还使用我们的三扬声器分离模型将LibriCSS评估集中的真实录音分离为非重叠的音轨,并实现了比基于基线掩模的波束形成器更好的单词出错率。
2020-11-03 cs.LG cs.SD eess.AS
Bias Analysis of Spatial Coherence-Based RTF Vector Estimation for Acoustic Sensor Networks in a Diffuse Sound Field
University of Oldenburg(奥尔登堡大学)
本文对扩散声场中声学传感器网络基于空间相干性的RTF向量估计方法进行理论偏差分析,推导出仅依赖输入SNR的实值最优模型权重,并通过仿真验证了其与GEVD权重的一致性及实际估计误差的存在。
2023-04-06 cs.SD eess.AS eess.SP