Advances in Microphone Array Processing and Multichannel Speech Enhancement
本文回顾麦克风阵列处理与多通道语音增强的开创性工作,涵盖基础进展、深度学习整合等最新研究,探讨应用及未来方向,为领域发展提供全面综述与前瞻性见解。
2025-02-13 eess.AS
End-to-End Dereverberation, Beamforming, and Speech Recognition with Improved Numerical Stability and Advanced Frontend
MoE Key Lab of Artificial Intelligence, AI Institute, SpeechLab, Shanghai Jiao Tong University(上海交通大学人工智能教育部重点实验室、人工智能研究院、语音实验室);Paderborn University(帕德博恩大学);Johns Hopkins University(约翰斯·霍普金斯大学);NTT Corporation(日本电信电话株式会社)
最近,端到端的方法已成功地应用于单通道和多通道条件下的多说话人语音分离和识别。然而,严重的性能退化仍然观察到在混响和噪声的情况下,仍然有一个很大的性能差距之间的消声和混响条件。在这项工作中,我们专注于多通道多扬声器混响条件,并建议扩展我们以前的框架,用于端到端去混响,波束成形和语音识别,具有改进的数值稳定性和先进的前端子网络,包括语音活动检测,如面具。这些技术显著稳定了端到端的培训过程。在空间化wsj 1 - 2 mix语料库上的实验表明,与传统的多通道E2 E语音识别系统相比,该系统的WER相对降低了约35%,并且在混响多说话人条件下,仅使用ASR标准进行训练时,也获得了不错的语音去混响和分离性能(SDR=12.5 dB)。
2021-02-23 cs.SD eess.AS
Multichannel AV-wav2vec2: A Framework for Learning Multichannel Multi-Modal Speech Representation
University of Science and Technology of China(中国科学技术大学);Tencent AI LAB(腾讯AI实验室);Nanyang Technological University(南洋理工大学)
针对远场多通道语音处理的数据稀缺与噪声问题,提出多通道多模态自监督框架AV-wav2vec2,通过多路径结构与对比学习融合音视频数据,在AVSR、ASR、VSR和AVSR任务上验证了有效性。
2024-01-07 cs.SD eess.AS
Spatial-Filter-Bank-Based Neural Method for Multichannel Speech Enhancement
针对麦克风阵列几何参数变化导致深度学习语音增强性能下降的问题,提出基于空间滤波器组提取几何不变特征,并结合两阶段conformer模型,实现固定阵列训练并在未见几何配置上有效泛化。
2025-04-02 eess.AS
Spatially constrained vs. unconstrained filtering in neural spatiospectral filters for multichannel speech enhancement
本文对比两类神经空谱滤波器,揭示其依据训练目标对空间信息采取始终滤波或选择性利用的不同机制,以指导模型设计与部署。
2024-06-17 eess.AS
Spiking Neural Beamforming for Multichannel Speech Enhancement on the Edge
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Neuromorphic Lab(神经形态实验室)
针对边缘设备多通道语音增强的资源平衡需求,提出基于FC-SNN的全SNN框架,对比不同编码方式与基线方法,确定了适用于边缘设备的有利配置。
2026-10-14 eess.AS
Frontend Token Enhancement for Token-Based Speech Recognition
NTT, Inc.(日本NTT公司)
本文提出了一种前端令牌增强方法,通过波形到令牌的增强模型在CHiME-4数据集上实现了最佳ASR性能,优于基于连续SSL特征的ASR系统。
2026-02-04 cs.CL cs.SD eess.AS
Speech Separation with Pretrained Frontend to Minimize Domain Mismatch
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Shenzhen Research Institute of Big Data, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
本文提出自监督域不变预训练前端,通过孪生网络捕获混合数据共享线索,减少合成与真实数据域差距,提升语音分离质量。
2024-11-05 cs.LG cs.MM cs.SD
A Conformer-based ASR Frontend for Joint Acoustic Echo Cancellation, Speech Enhancement and Speech Separation
Google LLC(谷歌有限责任公司)
我们提出了一种提高自动语音识别(ASR)的鲁棒性的前端,该前端在单个模型中联合实现三个模块:声学回声消除、语音增强和语音分离。这通过使用上下文增强神经网络来实现,该上下文增强神经网络可以可选地利用不同类型的侧输入:(1)回放音频的参考信号,其对于回声消除是必要的;(2)噪声上下文,其对于语音增强是有用的;以及(3)表示感兴趣的目标说话者的语音特征的嵌入向量,这不仅在语音分离中是关键的,而且有助于回声消除和语音增强。我们提出了详细的评估表明,联合模型的性能几乎以及特定于任务的模型,并显着降低在嘈杂的条件下,即使使用大规模的最先进的ASR模型的单词错误率。与噪声基线相比,联合模型在低信噪比条件下将回声消除数据集上的单词错误率降低了至少71%,在噪声数据集上降低了10%,在多说话者数据集上降低了26%。与特定于任务的模型相比,联合模型在回声消除数据集上的性能在10%以内,在噪声数据集上的性能在2%以内,在多说话者数据集上的性能在3%以内。
2021-11-18 cs.SD eess.AS
Location-based Training with Complementary Folded Linear Orderings for Multichannel Speech Separation
Ghent University(根特大学);imec(imec研究院)
针对多通道语音分离中圆形方位角排序的环绕不连续问题,提出基于折叠线性排序的位置训练(LBT-FLOs),利用多个互补排序的集成选择,在平面阵列和混响条件下获得稳健的适度性能提升。
2026-09-14 eess.AS
Causal Self-supervised Pretrained Frontend with Predictive Code for Speech Separation
本文提出一种因果自监督预训练前端,通过自回归混合预测和上下文知识蒸馏代理任务将未来信息隐式纳入因果模型,有效缓解了实时流式语音分离中因缺乏未来上下文导致的性能下降。
2025-04-03 cs.LG cs.SD eess.AS
A Universally-Deployable ASR Frontend for Joint Acoustic Echo Cancellation, Speech Enhancement, and Voice Separation
Google LLC(谷歌有限责任公司)
最近的工作表明,可以训练单个模型来执行联合声学回声消除(AEC)、语音增强和语音分离,从而用作鲁棒自动语音识别(ASR)的统一前端。联合模型使用上下文信息,诸如回放音频的参考、噪声上下文和扬声器嵌入。在这项工作中,我们提出了一些新的改进这样一个模型。首先,我们改进了用于将噪声上下文摄取到模型中的交叉注意一致性器的架构。其次,我们推广的模型能够处理不同长度的噪声上下文。第三,我们提出了Signal Dropout,这是一种新的策略,可以模拟缺失的上下文信息。在没有一个或多个信号的情况下,所提出的模型的性能几乎与没有这些信号训练的特定任务模型一样好;当存在这些信号时,我们的系统与需要所有上下文信号的系统相比表现良好。在基线上,当没有说话者嵌入时,最终模型在背景语音上保留了25.0%的相对单词错误率降低,当没有设备播放时,在AEC上保留了61.2%的相对单词错误率降低。
2022-09-14 cs.SD eess.AS
Multichannel Speech Separation with Narrow-band Conformer
Westlake University(西湖大学)
提出了一种基于窄带Conformer的多通道语音分离方法。该网络经过训练,可以自动利用窄带语音分离信息,例如多个说话者的空间矢量聚类。具体而言,在短时傅立叶变换(STFT)域中,网络独立地处理每个频率,并且由所有频率共享。对于一个频率,该网络输入多通道混合信号的STFT系数,并预测分离的语音信号的STFT系数。空间向量的聚类与自注意力机制在计算向量的相似性然后聚集相似向量的意义上共享类似的原理。因此,Conformer将特别适合于当前的问题。实验结果表明,所提出的窄带Conformer实现了更好的语音分离性能比其他国家的最先进的方法,由一个大的利润。
2022-07-01 cs.SD eess.AS
Controllable Multichannel Speech Dereverberation based on Deep Neural Networks
Alibaba Group(阿里巴巴集团)
基于神经网络的语音去混响在近年来的研究中取得了可喜的成果。然而,许多人专注于恢复的直接路径声音和早期的反射,这可能是有益的语音感知,被丢弃。当对早期混响目标进行评估时,经过训练以恢复干净语音的模型的性能会下降,反之亦然。提出了一种基于深度神经网络的多通道语音去混响算法,该算法的去混响水平是可控的。这是通过添加一个简单的浮点数作为模型的目标控制器来实现的。使用空间分布的麦克风进行实验,并在各种模拟条件下证实了所提出的算法的有效性。
2021-10-16 cs.SD eess.AS
Multichannel Loss Function for Supervised Speech Source Separation by Mask-based Beamforming
LINE Corporation(LINE公司)
在本文中,我们提出了两种基于掩模的波束形成方法,使用由多通道损失函数训练的深度神经网络(DNN)。使用由DNN估计的时频(TF)掩模的波束成形技术已经应用于TF掩模用于估计空间协方差矩阵的许多应用。为了训练用于基于掩码的波束成形的DNN,已经采用了为单声道语音增强/分离设计的损失函数。虽然这样的训练标准是简单的,但它并不直接对应于基于掩模的波束成形的性能。为了克服这个问题,我们使用多通道损失函数评估估计的空间协方差矩阵的基础上,多通道板仓斋藤分歧。由多通道损失函数训练的DNN可以被应用于构造多个波束形成器。实验结果证实了它们的有效性和鲁棒性麦克风配置。
2019-07-11 cs.SD eess.AS
Towards Decoupling Frontend Enhancement and Backend Recognition in Monaural Robust ASR
The Ohio State University(俄亥俄州立大学)
本文提出用ARN时域与CrossNet时频域增强模型,将前端语音增强与仅用干净语音训练的后端ASR完全解耦,在多个噪声与混响语料上显著降低WER并提升真实场景泛化能力。
2024-03-11 cs.SD eess.AS
TPARN: Triple-path Attentive Recurrent Network for Time-domain Multichannel Speech Enhancement
Facebook Reality Labs Research(Facebook现实实验室研究部)
在这项工作中,我们提出了一个新的模型,称为三路径注意递归网络(TPARN)的多通道语音增强在时域。TPARN通过在空间维度上增加第三条路径,将单通道双路径网络扩展为多通道网络。首先,TPARN使用双路径注意递归网络(ARN)独立地处理来自所有通道的语音信号,ARN是用自注意增强的递归神经网络(RNN)。接下来,沿空间维度引入ARN以用于空间上下文聚合。TPARN设计为多输入多输出架构,可同时增强所有输入通道。实验结果表明,TPARN优于现有的国家的最先进的方法。
2022-04-06 cs.SD eess.AS
On the Importance of Neural Wiener Filter for Resource Efficient Multichannel Speech Enhancement
Indiana University Bloomington(印第安纳大学伯明顿分校);Reality Labs Research, Meta(Meta现实实验室研究部)
本文提出一种时域多通道语音增强框架,通过两个紧凑DNN围绕神经维纳滤波器进行联合训练,以更少参数和更低计算量实现低延迟高性能语音增强。
2024-01-15 cs.SD eess.AS
Multichannel blind speech source separation with a disjoint constraint source model
CIAIC, Northwestern Polytechnical University(西北工业大学)
针对多通道盲语音源分离中未充分利用语音信号稀疏性的问题,本研究利用Bingham和Laplace分布构建不相交约束正则化项,将其整合到MNMF和ILRMA中,推导出s-MNMF和s-ILRMA两种增强算法,实验证明其能有效提升分离性能。
2024-01-03 cs.SD eess.AS
Frontend-Assisted Large Audio-Language Models for SLT2026 SmartGlasses Challenge
Nanjing University(南京大学);NJU-Horizon Intelligent Audio Lab, Horizon Robotics(南大-地平线智能音频实验室,地平线机器人);Qwen Business Unit of Alibaba(阿里巴巴通义业务部)
该研究针对SLT2026智能眼镜挑战赛第1赛道任务,采用SoulX-Transcriber模型并结合语音前端处理优化,最终提交的微调系统在测试集取得6.22的tcpCER,提升了带时间戳的带说话人属性ASR性能。
2026-10-12 cs.SD eess.AS
Evaluating Multichannel Speech Enhancement Algorithms at the Phoneme Scale Across Genders
Université de Lorraine, CNRS, Inria, LORIA(卢瓦尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、LORIA研究所)
本文在音素尺度上评估多通道语音增强算法,发现性别差异在语句级微小但在音素级显著,算法对女性语音(尤其塞音、擦音、元音)干扰抑制更好且伪影更少。
2025-06-23 cs.SD eess.AS
A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab(字节跳动人工智能实验室)
汉语方言是汉语的不同变体,与普通话同属一个语系。虽然它们都使用汉字,但发音、语法和成语可能差异很大,即使是当地人也很难输入正确的方言书面形式。此外,使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端,将普通话文本转换为方言表达,以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作,将翻译与TTS前端。在粤语和普通话输入下的实验结果表明,该模型的BLEU提高了2.56,TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
Joint Online Multichannel Acoustic Echo Cancellation, Speech Dereverberation and Source Separation
Alibaba Group(阿里巴巴集团)
本文提出了一种联合声源分离算法,同时减少声回波,混响和干扰源。通过最大化相对于其他源的独立性,将目标语音从混合物中分离出来。结果表明,分离过程可分解为回声消除、语音去混响和声源分离等子过程,这些子过程均采用基于辅助函数的独立分量/向量分析技术求解,且求解顺序可互换。级联的解决方案不仅导致较低的计算复杂性,但比香草联合算法有更好的分离性能。
2021-04-09 cs.SD eess.AS
Self-supervised learning with diffusion-based multichannel speech enhancement for speaker verification under noisy conditions
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林信息学及其应用实验室);MBZUAI University(穆罕默德·本·扎耶德人工智能大学)
本文提出 Diff-Filter 多通道语音增强方法,结合扩散概率模型与两阶段自监督学习,并设计基于等错误率的损失函数,在 MultiSV 数据集上显著提升噪声条件下的说话人验证性能。
2023-07-05 cs.SD eess.AS
BERT for Joint Multichannel Speech Dereverberation with Spatial-aware Tasks
University of Maryland, College Park(马里兰大学帕克分校)
提出了一种联合多通道语音去混响的方法,该方法具有两个空间感知任务:到达方向(DOA)估计和语音分离。所提出的方法将所涉及的任务作为序列到序列映射问题来处理,这对于各种前端语音增强任务来说是足够通用的。所提出的方法的灵感来自优秀的序列建模能力的双向编码器表示从Transformers(BERT)。我们不是以自我监督的方式利用来自预训练的显式表示,而是以监督的方式利用Transformer编码的隐藏表示。对不同长度话语的多通道频谱幅度和频谱相位信息进行编码。实验结果证明了该方法的有效性。
2020-10-22 cs.CL cs.LG cs.SD
Direction-Preserving MIMO Speech Enhancement Using a Neural Covariance Estimator
Chalmers University of Technology(查尔姆斯理工大学)
本文提出一种全盲方向保持MIMO语音增强方法,通过神经估计空间噪声协方差矩阵实现多通道信号增强,保留空间特性,提升下游任务性能。
2026-04-13 eess.AS
Low bit rate binaural link for improved ultra low-latency low-complexity multichannel speech enhancement in Hearing Aids
本文提出低复杂度、2ms 延迟的 GCFSnet 多通道语音增强模型,并通过低比特率双耳链路利用延迟双耳特征,使单侧配置在客观指标上达到非低延迟 oracle 双耳 LCMV 波束形成器水平。
2023-07-17 eess.AS
Multi-View Frequency-Attention Alternative to CNN Frontends for Automatic Speech Recognition
TALP Research Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学TALP研究中心);Amazon Alexa(亚马逊Alexa)
针对自动语音识别中卷积前端未区分时频维度特性的问题,提出频率注意力模块替代CNN前端,在生产级和公开数据集上均取得词错误率降低,且具备噪声鲁棒性。
2023-06-12 cs.CL cs.LG cs.SD
Narrow-band Deep Filtering for Multichannel Speech Enhancement
Westlake University(西湖大学);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在本文中,我们解决的问题,多通道语音增强的短时傅立叶变换(STFT)域。长短时间记忆(LSTM)网络将与多通道噪声语音信号的频率仓相关联的STFT系数序列作为输入。网络的输出是相应的单通道净化语音序列。我们提出了几个干净的语音网络的目标,即幅度比掩模,复杂的STFT系数和(平滑)空间滤波器。所提出的模型的一个突出特点是,具有相同参数的相同LSTM架构在频率区间进行训练。所提出的方法被称为窄带深度滤波。这种选择与传统的宽带语音增强方法形成对比。所提出的深度滤波能够通过利用语音和噪声不同的时间和空间特征来区分语音和噪声:语音是非平稳的和空间相干的,而噪声是相对平稳的,并且在信道之间弱相关。这在精神上与无监督技术类似,例如谱减法和波束成形。我们描述了广泛的实验与混合信号(噪声被添加到干净的语音)和真实的信号(现场录音)。我们凭经验评估所提出的架构变体使用语音增强和语音识别指标,我们比较我们的结果与几个国家的最先进的方法得到的结果。根据这些实验,我们得出结论,窄带深度滤波具有非常好的语音增强和语音识别性能,以及在说话人可变性和噪声类型方面的出色泛化能力。
2020-09-23 cs.SD eess.AS
Modified Parametric Multichannel Wiener Filter \\for Low-latency Enhancement of Speech Mixtures with Unknown Number of Speakers
NTT Corporation(NTT公司);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室)
本文提出了一种低延迟在线波束形成算法 Mod-PMWF,通过修改传统参数化多通道维纳滤波器,在未知说话人数量及声学传递函数的情况下自适应增强语音混合物,并在干扰抑制比和主观听力测试中验证了其有效性。
2023-06-29 cs.SD eess.AS
Decoupled Spatial and Temporal Processing for Resource Efficient Multichannel Speech Enhancement
Meta Reality Labs Research(Meta现实实验室)
本文提出一种解耦空间与时间处理的时域多通道语音增强模型,通过可训练空间滤波和LSTM时间处理显著降低参数量与计算量,在仅2毫秒超低延迟下优于基线模型。
2024-01-15 cs.SD eess.AS
End-to-End Far-Field Speech Recognition with Unified Dereverberation and Beamforming
Shanghai Jiao Tong University(上海交通大学);Johns Hopkins University(约翰斯·霍普金斯大学)
尽管端到端方法在多通道语音识别中得到了成功的应用,但当语音被混响破坏时,识别性能仍然会严重下降。在本文中,我们将去混响模块集成到端到端的多通道语音识别系统中,并探讨了两种不同的前端架构。首先,多源掩模为基础的加权预测误差(WPE)模块被纳入前端去混响。其次,提出了另一种新的前端架构,它扩展了加权功率最小化无失真响应(WPD)卷积波束形成器,以执行同时分离和去混响。我们推导出一个新的配方从原来的WPD,它可以处理多源输入,并取代特征值分解与矩阵求逆运算,使反向传播算法更稳定。以上两种架构都是以完全端到端的方式进行优化的,只使用了语音识别标准。在空间化wsj 1 - 2 mix语料库和REVERB上的实验表明,该模型在混响场景下的性能优于传统方法。
2020-10-27 cs.SD eess.AS
Attention-Driven Multichannel Speech Enhancement in Moving Sound Source Scenarios
Tampere University(坦佩雷大学)
针对现有多通道语音增强算法假设声源静止、真实场景性能受限的问题,本文提出注意力驱动的空间滤波方法,通过注意力机制估计时变空间协方差矩阵或直接估计滤波器,在静态和动态声源场景下均优于传统方法。
2023-12-17 cs.LG eess.AS eess.SP
Joint Speaker Features Learning for Audio-visual Multichannel Speech Separation and Recognition
The Chinese University of Hong Kong(香港中文大学);National Research Council Canada(加拿大国家研究委员会);The Hong Kong Polytechnic University(香港理工大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
针对视听多通道语音分离与识别的零样本自适应,本文通过专用融合模块联合训练xVector与ECAPA-TDNN说话人编码器,显著提升分离识别效果并大幅降低WER。
2024-06-14 cs.SD eess.AS
DeFT-AN: Dense Frequency-Time Attentive Network for Multichannel Speech Enhancement
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
在这项研究中,我们提出了一个密集的频率-时间注意网络(DeFT-AN)的多通道语音增强。DeFT-AN是一种掩模估计网络,其预测用于抑制嵌入在输入信号的短时傅里叶变换(STFT)中的噪声和混响的复频谱掩模图案。所提出的掩模估计网络结合了三种不同类型的块,用于在空间、光谱和时间维度上聚合信息。它利用了一个频谱Transformer与修改后的前馈网络和时间构象与顺序扩张卷积。使用专用于音频信号的三种不同特性的密集块和Transformers,可以在嘈杂和混响环境中实现更全面的增强。基于两个流行的噪声和混响数据集,在语音质量和可懂度的各种指标方面,证明了DeFT-AN在最先进的多通道模型上的卓越性能。
2023-03-06 cs.SD eess.AS
Semi-supervised multichannel speech enhancement with variational autoencoders and non-negative matrix factorization
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像、语音、信号与自动化实验室)
在本文中,我们解决未知噪声环境中的非特定人多通道语音增强。我们的工作是基于一个完善的多通道局部高斯建模框架。我们建议使用一个神经网络建模的语音频谱时间的内容。该监督模型的参数使用变分自编码器的框架来学习。噪声记录环境被认为是未知的,因此噪声频谱-时间建模仍然是无监督的,并且基于非负矩阵分解(NMF)。我们开发了一个蒙特卡洛期望最大化算法,我们的实验表明,所提出的方法优于其基于NMF的同行,其中语音建模使用监督NMF。
2019-04-30 cs.SD eess.AS stat.ML
LABNet: A Lightweight Attentive Beamforming Network for Ad-hoc Multichannel Microphone Invariant Real-Time Speech Enhancement
NERC-SLIP, University of Science and Technology of China (USTC)(NERC-SLIP,中国科学技术大学)
本文提出轻量级注意力波束形成网络LABNet,通过三阶段框架和跨通道注意力模块,在低复杂度实时语音增强中实现麦克风不变性,以超轻资源开销取得优异性能。
2025-08-27 cs.SD eess.AS
Embedding and Beamforming: All-neural Causal Beamformer for Multichannel Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
空间协方差矩阵已被认为是重要的波束形成器。基于传统波束形成器和深度神经网络的交叉点,提出了一种因果神经波束形成器的范式Embedding and Beamforming,并设计了两个核心模块EM和BM。对于EM,不是显式地估计空间协方差矩阵,而是使用网络学习3-D嵌入张量,其中可以表示光谱和空间判别信息。对于BM,直接利用网络来导出波束成形权重,以便实现滤波求和操作。为了进一步提高语音质量,引入后处理模块进一步抑制残余噪声。基于DNS-Challenge数据集,我们进行了多通道语音增强的实验,结果表明,该系统在多个评价指标上大大优于以前的先进基线。
2021-09-02 cs.SD eess.AS
A Comparative Study on Multichannel Speaker-Attributed Automatic Speech Recognition in Multi-party Meetings
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
多方会议场景中的说话人归属自动语音识别(SA-ASR)是最有价值和最具挑战性的自动语音识别任务之一。结果表明,单通道帧级日志化与串行输出训练(SC-FD-SOT)、单通道词级日志化与SOT(SC-WD-SOT)以及单通道目标语者分离与ASR联合训练(SC-TS-ASR)可以部分解决这一问题。在本文中,我们提出了三个相应的多通道(MC)SA-ASR方法,即MC-FD-SOT,MC-WD-SOT和MC-TS-ASR。针对不同的任务/模型,考虑了不同的多通道数据融合策略,包括MC-FD-SOT的通道级跨通道关注、MC-WD-SOT的帧级跨通道关注和MC-TS-ASR的神经波束形成。AliMeeting语料库上的结果表明,我们提出的模型在与说话人相关的字符错误率方面始终优于相应的单通道模型。
2023-03-02 cs.SD eess.AS
A Phoneme-Scale Assessment of Multichannel Speech Enhancement Algorithms
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用研究所)
本文在真实噪声与空间场景下从音素尺度评估FasNet、MVDR和Tango三种多通道语音增强算法,发现不同音素增强效果差异显著,可为音素感知助听器提供依据。
2024-01-24 cs.SD eess.AS
McNet: Fuse Multiple Cues for Multichannel Speech Enhancement
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
在多通道语音增强中,频谱和空间信息对于区分语音和噪声都是至关重要的。如何充分利用这两种类型的信息和它们的时间动态仍然是一个有趣的研究问题。针对这一问题,提出了一种多线索融合网络McNet,该网络级联4个模块,分别利用全波段空间信息、窄带空间信息、子波段光谱信息和全波段光谱信息。实验表明,该网络中的每个模块都有其独特的贡献,作为一个整体,显着优于其他国家的最先进的方法。
2022-11-16 cs.AI cs.SD eess.AS
Unsupervised Speech Enhancement Based on Multichannel NMF-Informed Beamforming for Noise-Robust Automatic Speech Recognition
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文介绍了多通道语音增强,以提高自动语音识别(ASR)在嘈杂的环境。最近,最小方差无失真响应(MVDR)波束形成得到了广泛的应用,因为它工作良好,如果语音的导向矢量和噪声的空间协方差矩阵(SCM)是给定的。为了估计这样的空间信息,传统的研究采用监督方法,该方法通过训练深度神经网络(DNN)将每个时频(TF)仓分类为噪声或语音。然而,在未知噪声环境中,ASR的性能下降。为了解决这个问题,我们采取了一种无监督的方法,通过使用多通道非负矩阵分解(MNMF)将每个TF bin分解为语音和噪声的总和。这使我们能够准确地估计SCM的语音和噪声,而不是从观察到的嘈杂的混合物,但从分离的语音和噪声成分。在本文中,我们提出了在线MVDR波束形成有效地初始化和增量更新的参数MNMF。另一个主要贡献是全面研究由各种类型的空间滤波器获得的ASR的性能,即,MVDR波束形成器的时不变和变化版本以及秩1和满秩多通道维纳滤波器的时不变和变化版本,与MNMF组合。实验结果表明,在与训练数据不匹配的未知环境中,该方法的性能优于基于DNN的波束形成方法。
2019-03-31 cs.LG cs.SD eess.AS
Multichannel Speech Separation and Enhancement Using the Convolutive Transfer Function
INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部);GIPSA-lab(格勒诺布尔阿尔卑斯大学信号与系统实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Bar Ilan University(巴伊兰大学)
本文研究了多通道卷积噪声混合语音信号的分离与增强问题,即\emph{assuming known mixing filters}。我们建议使用卷积传递函数(CTF)逼近在短时傅里叶变换域中执行语音分离和增强任务。与时域滤波器相比,CTF具有更少的抽头,因此它具有更少的通道之间的近公共零点和更低的计算复杂性。该工作提出了三种语音源恢复方法,即:i)在CTF域中利用多通道逆滤波方法,即多输入/输出逆定理(MINT),并且对于多源情况,ii)应用单源MINT并使用功率最小化的波束成形类多通道逆滤波方法,其适用于源CTF不是全部已知的任何时候,以及iii)受约束的Lasso方法,其中通过最小化$\ell_1$范数来恢复源,以施加它们的频谱稀疏性,约束条件是麦克风信号和涉及未知源信号的混合模型之间的$\ell_2$范数拟合成本小于容限。可以通过对噪声功率设置容差来降低噪声。在各种声学条件下进行实验,以评估所提出的三种方法。它们之间的比较,以及与基线方法。
2018-02-26 cs.SD eess.AS
Mask scalar prediction for improving robust automatic speech recognition
Google LLC(谷歌有限责任公司)
使用基于神经网络的声学前端来提高流式自动语音识别(ASR)系统的鲁棒性是具有挑战性的,因为前端处理在语音中引入的因果关系约束和所产生的失真。基于时频掩蔽的方法已被证明工作良好,但它们需要额外的超参数来缩放掩蔽以限制语音失真。这种掩码标量通常是手动调整和保守选择的。在这项工作中,我们提出了一种技术来预测掩码标量使用ASR为基础的损失在一个端到端的方式,在整体模型的大小和复杂性的增加最小。我们评估两个强大的ASR任务的方法:多通道增强语音和非语音噪声的存在下,和声学回声消除(AEC)。结果表明,所提出的算法一致地提高了字错误率(WER),而不需要在使用手动调整的超参数的强基线上进行任何额外的调整:在噪声条件下多通道增强高达16%,AEC高达7%。
2022-04-26 cs.SD eess.AS
Leveraging Joint Spectral and Spatial Learning with MAMBA for Multichannel Speech Enhancement
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通信工程研究所);Academia Sinica, Taiwan(台湾中央研究院)
针对多通道语音增强中传统方法难以建模复杂时间依赖的问题,提出融合改进Mamba的MCMamba模型,联合多维度空间与频谱特征,在CHiME-3数据集上取得超越McNet的最优性能。
2025-01-14 cs.SD eess.AS
Dual Application of Speech Enhancement for Automatic Speech Recognition
Facebook(脸书)
在这项工作中,我们利用语音增强来改善基于递归神经网络换能器(RNN-T)的ASR系统。我们采用了一个密集的卷积递归网络(DCRN)复杂的频谱映射为基础的语音增强,并发现它有助于ASR在两个方面:一个数据增强技术,和预处理前端。在使用它的ASR数据增强,我们利用KL分歧的一致性损失之间的原始和增强的话语的ASR输出计算。在使用语音增强作为一个有效的ASR前端,我们提出了一个三步训练计划的基础上模型预训练和特征选择。我们评估了我们提出的技术在一个具有挑战性的社交媒体英语视频数据集,并实现了11.2%的平均相对改善与语音增强为基础的数据增强,8.3%与增强为基础的预处理,和13.4%时,结合两者。
2020-11-07 cs.SD eess.AS
Multi-view Frequency LSTM: An Efficient Frontend for Automatic Speech Recognition
Amazon(亚马逊)
实时语音识别系统中的声学模型通常堆叠多个单向LSTM层以随时间处理声学帧。通过在时间LSTM之前添加一堆频率LSTM(FLSTM)层,已经报告了vanilla LSTM架构的性能改进。这些FLSTM层可以通过对声学输入信号中的时间-频率相关性进行建模来学习时间LSTM层的更鲁棒的输入特征。然而,基于FLSTM的架构的缺点是,它们以预定义的和调整的窗口大小和步幅操作,在本文中称为“视图”。我们提出了一个简单而有效的修改相结合的输出多个FLSTM堆栈与不同的意见,到一个降维的功能表示。与单视图FLSTM模型相比,所提出的多视图FLSTM架构允许对更宽范围的时频相关性进行建模。当在50 K小时的英语远场语音数据上进行训练时,CTC丢失,然后进行sMBR序列训练,我们表明多视图FLSTM声学模型在优化的单个FLSTM模型上为不同的扬声器和声学环境场景提供了3-7%的相对字错误率(WER)改进,同时保留了类似的计算足迹。
2020-06-30 cs.CL cs.SD eess.AS
CNN-based MultiChannel End-to-End Speech Recognition for everyday home environments
Waseda University(早稻田大学);Johns Hopkins University(约翰斯·霍普金斯大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Honda Research Institute Japan(日本本田研究所)
在日常环境中,涉及多个说话者的随意对话和来自周围设备的噪声是常见的,这降低了自动语音识别系统的性能。这些具有挑战性的环境特征是CHiME-5挑战的目标。通过采用基于卷积神经网络(CNN)的多通道端到端语音识别系统,本研究试图克服目前在日常环境中的困难。该系统包括一个基于注意力的编码器-解码器神经网络,它直接从声音输入生成文本作为输出。多通道CNN编码器使用残差连接和批量重正化,使用增强数据进行训练,包括白噪声注入。实验结果表明,在CHiME-5语料库上,单通道端到端和最佳基线(LF-MMI TDNN)的单词错误率分别降低了8.5%和0.6%。
2019-06-21 cs.CL cs.SD eess.AS
Low Latency Time Domain Multichannel Speech and Music Source Separation
Ilmenau University of Technology(伊尔梅瑙工业大学)
目标是获得具有非常低延迟的简单多通道源分离。应用可以是电话会议、助听器、增强现实或选择性有源噪声消除。这些实时应用需要非常低的延迟(通常小于约6ms)和低复杂度,因为它们通常在小型便携式设备上运行。为此,我们不需要最好的分离,但“有用的”分离,不仅是语音,而且是音乐和噪音。频域方法具有更高的延迟和复杂度。因此,我们引入了一种新的概率优化方法,我们称之为“随机方向”,它可以克服局部极小值,适用于一个简单的时域解混结构,这是可扩展的低复杂度。然后将其与频域方法在分离语音和音乐源以及使用3D麦克风设置方面进行比较。
2022-04-12 cs.SD eess.AS
Microphone Array Generalization for Multichannel Narrowband Deep Speech Enhancement
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
本文解决了基于深度学习的端到端多通道语音增强的麦克风阵列泛化问题。我们的目标是训练一个独特的深度神经网络(DNN),它可能在看不见的麦克风阵列上表现良好。当在固定麦克风阵列上训练时,麦克风阵列几何形状塑造网络的参数,并且因此限制了经训练的网络到另一麦克风阵列的泛化。为了解决这个问题,使用由不同几何形状的各种麦克风阵列记录的数据来训练单个网络。我们最近提出的窄带网络,我们设计了三个变种,以应付不可知的麦克风数量。总的来说,目标是使网络学习可用于任何阵列几何结构的语音增强的通用信息,而不是学习单个阵列专用的特征。模拟和真实房间脉冲响应(RIR)的实验表明,所提出的网络具有出色的跨阵列泛化能力,在这个意义上,他们的性能指标非常接近,甚至超过了测试阵列训练的网络。此外,它们明显优于各种波束成形方法和其他先进的基于深度学习的方法。
2021-07-27 cs.SD eess.AS
Learning Natural Conversational Behavior in Tandem Speech-to-Speech Models with Randomized Guidance
Sakana AI
针对串联语音到语音模型训练中引导数据缺失问题,提出随机中间引导方法,直接从语料库采样引导,提升响应质量与自然对话行为,优于基线模型。
2026-09-28 cs.CL eess.AS
Improving multichannel speech enhancement through accurate room-acoustic simulations
Treble Technologies
研究通过高保真房间声学模拟增强训练数据,相比几何声学方法,将多通道语音增强的中位词错误率相对降低高达38%。
2026-07-01 cs.AI cs.LG cs.SD
SNRi Target Training for Joint Speech Enhancement and Recognition
Google Research(谷歌研究院)
语音增强(SE)在包括自动语音识别(ASR)和电信的语音应用中被用作前端。使用SE前端的困难在于,适当的降噪水平取决于应用和/或噪声特性而不同。在这项研究中,我们提出了“信噪比改善(SNRi)目标训练”; SE前端被训练输出一个信号,其SNRi由辅助标量输入控制。在与后端的联合训练中,目标SNRi值由辅助网络估计。通过训练所有网络以最小化后端任务损失,我们可以在数据驱动方案中估计每个噪声输入的适当降噪水平。我们的实验表明,SNRi目标训练能够控制输出SNRi。此外,与基于Conformer的标准ASR模型和传统的SE-ASR联合训练模型相比,本文提出的联合训练方法分别将误词率降低了4.0%和5.7%。此外,通过分析预测的目标SNRi,我们观察到联合训练的网络自动控制目标SNRi根据噪声特性。音频演示可在我们的演示页面:google.github.io/df-conformer/snri_target/。
2022-03-28 cs.SD eess.AS
Acquiring Pronunciation Knowledge from Transcribed Speech Audio via Multi-task Learning
The University of Edinburgh(爱丁堡大学);Huawei(华为)
针对TTS前端引导训练词汇覆盖有限的问题,提出基于多任务学习利用带转写语音音频获取发音知识的方法,简化实现流程的同时达到与原有方法相当的性能。
2024-09-15 cs.CL cs.SD eess.AS