MIRNet: Learning multiple identities representations in overlapped speech
Yonsei University（延世大学）
许多方法可以通过学习识别声学参数的一致特性来从语音中获得关于单个说话者身份的信息。然而，当在给定信号中存在多个并发说话者时，确定身份信息是具有挑战性的。在本文中，我们提出了一种新的深度说话人表示策略，可以可靠地从重叠的语音中提取多个说话人身份。我们设计了一个网络，可以提取一个高层次的嵌入，包含信息的每个扬声器的身份从一个给定的混合。与传统方法需要参考声学特征进行训练不同，我们提出的算法只需要重叠语音段的说话人身份标签。我们证明了我们的算法在说话人确认任务和语音分离系统的条件下，通过所提出的方法获得的目标说话人嵌入的有效性和实用性。
2020-08-06 cs.SD eess.AS
Target Speaker Extraction for Overlapped Multi-Talker Speaker Verification
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
当测试语音被干扰说话人破坏时，说话人确认的性能会显著下降。如果说话人在时间上重叠，说话人日记可以很好地分离说话人。然而，如果多个说话者同时说话，我们需要在频谱域中分离语音的技术。提出了一种基于目标说话人提取方法的重叠多说话人说话人确认框架。具体地，给定目标说话人信息，首先通过目标说话人提取模块从重叠的多说话人语音中提取目标说话人的语音。然后，提取的语音被传递到说话人验证系统。实验结果表明，该方法显著提高了重叠多说话人说话人确认的性能，相对EER降低了65.7%。
2019-02-07 cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)（日本国立信息通信技术研究所）
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题，提出带说话人掩码分支的自回归Transformer模型，可单模型同时完成两项任务，在LibriSpeech重叠数据集上验证了有效性，尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation（NAVER 公司）
在这项工作中，我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统，执行二进制分类是否包含重叠的语音帧，所提出的方法分为三类：非语音，单扬声器语音，和重叠的语音。通过使用更详细的标签定义训练网络，模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能，精确度为0.6648，召回率为0.3222，显示召回率增加了20%，精确度也更高。此外，我们还介绍了一个简单的方法，利用建议的重叠语音检测模型的说话人日记，排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
Listen first: Output-based multi-microphone speech enhancement
Aalborg University（奥尔堡大学）；Eriksholm Research Centre（埃里克舍姆研究中心）
研究针对传统助听器语音增强算法在复杂场景中特征提取不可靠的问题，提出基于输出特性确定声音处理系统设置的范式，采用基于输出的MPDR波束形成器系统，实验证明该系统在多指标上优于传统MVDR基线。
2026-07-15 eess.AS
Causal Signal-Based DCCRN with Overlapped-Frame Prediction for Online Speech Enhancement
AGH University of Science and Technology（AGH科技大学）
提出基于信号的因果DCCRN模型，通过引入重叠帧预测、因果卷积和损失函数修改，在保持或提升语音增强性能的同时，将延迟和网络参数减少约30%。
2023-09-07 cs.SD eess.AS
Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits
AI Lab, Lenovo Research（联想研究院人工智能实验室）
目标语音分离是根据所提供的附加说话人身份信息从语音混合物中滤除特定说话人的语音的过程。最近的工作已经取得了相当大的改进，直接在时域中处理信号。它们中的大多数采用完全重叠的语音混合进行训练。然而，由于大多数现实生活中的对话是随机发生的，并且重叠很少，因此我们认为使用不同重叠率的数据进行训练是有益的。要做到这一点，一个不可避免的问题是，普遍使用的SI-SNR损失没有定义的沉默源。本文提出了加权SI-SNR损失，以及目标语音分离和个人VAD的联合学习。加权SI-SNR损失施加与目标说话者的持续时间成比例的权重因子，并且当目标说话者不存在时返回零。同时，个人VAD生成掩码并将非目标语音设置为静音。实验表明，我们提出的方法优于基线的SDR完全重叠的语音，以及由4.17 dB和0.9 dB的稀疏重叠的语音的清洁和嘈杂的条件下，1.73 dB。此外，在性能略有下降的情况下，我们的模型可以减少推理的时间开销。
2021-09-27 cs.CL cs.SD eess.AS
Audio-visual Recognition of Overlapped speech for the LRS2 dataset
Tencent AI（腾讯人工智能）
重叠语音的自动识别至今仍是一项极具挑战性的任务。受人类语音感知的双峰性质的启发，本文研究了使用视听技术进行重叠语音识别。提出了与音视频语音识别（AVSR）系统构建相关的三个问题。首先，研究了AVSR系统的基本结构设计，即端到端和混合结构。其次，有目的地设计的模态融合门被用来鲁棒地集成音频和视觉特征。第三，在对比传统的流水线架构，包含显式语音分离和识别组件，流线型和集成的AVSR系统优化一致使用无格MMI（LF-MMI）判别准则也提出了。所提出的LF-MMI时延神经网络（TDNN）系统为LRS 2数据集建立了最先进的技术。对LRS 2数据集模拟的重叠语音的实验表明，所提出的AVSR系统在字错误率（WER）降低方面优于仅音频基线LF-MMI DNN系统高达29.98%的绝对值，并且产生了与更复杂的流水线系统相当的识别性能。一致的性能改善4.89%的绝对WER减少基线AVSR系统使用特征融合。
2020-01-06 cs.SD eess.AS
A unified convolutional beamformer for simultaneous denoising and dereverberation
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种方法来估计卷积波束形成器，可以执行去噪和去混响同时在一个最佳的方式。基于加权预测误差（WPE）方法的去混响的应用，然后基于最小方差无失真响应（MVDR）波束形成器的去噪，传统上被认为是有前途的方法，然而，不能保证这种方法的最优性。为了实现去噪和去混响的最佳集成，我们提出了一种方法，该方法将WPE去混响方法和MVDR波束形成器的变体，即最小功率无失真响应（MPDR）波束形成器，合并为单个卷积波束形成器，并基于单个统一的优化标准对其进行优化。所提出的波束形成器被称为加权功率最小化无失真响应（WPD）波束形成器。实验结果表明，该方法在客观语音增强指标和自动语音识别（ASR）性能两方面都有显著提高。
2019-05-05 cs.SD eess.AS
Acoustic echo suppression using a learning-based multi-frame minimum variance distortionless response filter
National Tsing Hua University（台湾清华大学）
声学回声抑制（AES）引起的失真是全双工通信中常见的问题。为了解决失真问题，提出了一种多帧最小方差无失真响应（MFMVDR）滤波技术。本研究从深度学习的角度扩展了用于语音增强问题的带参数估计的MFMVDR滤波器。为了减轻MFMVDR滤波器的数值不稳定性，我们建议直接估计相关矩阵的逆。AES系统的优点在于不需要双端通话检测。在MFMVDR滤波器的输出处，负尺度不变的信号失真比被用作训练网络的损失函数。仿真结果证明了所提出的基于学习的AES系统在双端通话、背景噪声和非线性失真条件下的有效性。
2022-05-07 cs.SD eess.AS
Speech Enhancement with Overlapped-Frame Information Fusion and Causal Self-Attention
Shanghai Jiao Tong University（上海交通大学）；Xiaohongshu Inc.（小红书科技有限公司）
针对因果语音增强无法利用逆变换固有延迟中未来信息的问题，提出重叠帧信息融合方案与因果时频通道注意力模块，提升表示能力，实验表明优于现有先进方法。
2025-01-21 cs.SD eess.AS
Overlap-aware diarization: resegmentation using neural end-to-end overlapped speech detection
L’École de Technologie Supérieure（高等技术学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们解决的问题，有效地处理重叠的语音在一个日记系统。首先，我们详细介绍了一种基于神经长短期记忆的重叠检测架构。其次，利用检测到的重叠区域结合帧级扬声器后验矩阵，使重叠帧中的两个扬声器分配的重新分割步骤。重叠检测模块在AMI、DIHARD和ETAPE语料库上实现了最先进的性能。我们应用AMI上的可感知的重新分割，导致基线系统上相对DER减少20%。虽然这种方法绝不是一个最终的解决方案，以了解日志，它揭示了有前途的方向处理重叠。
2019-10-25 cs.SD eess.AS
Joint Multi-Channel Dereverberation and Noise Reduction Using a Unified Convolutional Beamformer With Sparse Priors
University of Oldenburg（奥尔登堡大学）
近年来，卷积加权功率最小化无失真响应（WPD）波束形成器被提出，它将多通道加权预测误差去混响和最小功率无失真响应波束形成相结合。为了优化卷积滤波器，利用时变高斯模型对期望的语音分量进行建模，与有噪声的麦克风信号相比，该时变高斯模型促进了期望的语音分量在短时傅里叶变换域中的稀疏性。在本文中，我们推广的卷积WPD波束形成器，通过使用lp-范数代价函数，引入一个可调的形状参数，使控制所需的语音分量的稀疏性。基于REVERB挑战数据集的实验表明，该方法在客观语音质量指标方面优于传统的卷积WPD波束形成器。
2023-03-13 cs.SD eess.AS
Improving Frame-Online Neural Speech Enhancement with Overlapped-Frame Prediction
Carnegie Mellon University（卡内基梅隆大学）
在短时傅立叶变换（STFT）域中的帧在线语音增强系统通常具有等于窗口大小的算法延迟，这是由于在逆STFT（iSTFT）中使用双加。这种算法延迟允许增强模型利用未来的上下文信息，长度最多等于窗口大小。然而，这一信息仅部分地被当前的框架在线系统利用。为了充分利用它，我们提出了一种用于基于深度学习的帧在线语音增强的重叠帧预测技术，在每一帧中，我们的深度神经网络（DNN）预测当前和几个过去的帧，而不是只预测当前帧。此外，我们提出了一个损失函数，占预测和预言的目标信号之间的规模差异。对含噪混响语音增强的实验表明了该算法的有效性。
2022-06-16 cs.SD eess.AS
Mixed Precision DNN Qunatization for Overlapped Speech Separation and Recognition
Tencent AI lab（腾讯AI实验室）
重叠语音的识别一直是一个极具挑战性的任务。多通道语音分离系统在实际应用中变得越来越复杂和昂贵。为此，低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。然而，目前的量化方法是基于统一的精度，并没有考虑到不同的模型组件的量化误差的变化的性能灵敏度。本文提出了一种新的混合精度DNN量化方法，通过将局部可变位宽应用于基于TF掩蔽的多通道语音分离系统的各个TCN分量。使用三种技术自动学习最佳局部精度设置。前两种方法利用基于均方误差（MSE）损失函数曲率或在全精度和量化分离模型之间测量的KL发散的量化灵敏度度量。第三种方法是基于混合精度神经结构搜索。LRS 3-TED语料库模拟重叠语音数据上进行的实验表明，所提出的混合精度量化技术始终优于可比位宽的均匀精度基线语音分离系统的SI-SNR和PESQ分数，以及字出错率（WER）减少高达2.88%的绝对（8%相对）。
2021-11-29 cs.SD eess.AS
Audio-Visual Active Speaker Extraction for Sparsely Overlapped Multi-talker Speech
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对稀疏重叠多说话人场景，提出音视频模型ActiveExtract，利用主动说话人检测提供帧级活动信息并判别语音-唇形同步实现说话人分离，在SI-SNR上平均提升超4 dB。
2023-09-15 cs.SD eess.AS
Serialized Speech Information Guidance with Overlapped Encoding Separation for Multi-Speaker Automatic Speech Recognition
Kyoto University（京都大学）
针对多说话人ASR中SOT仅用注意力损失训练难的问题，提出EncSep和GEncSep方法，借助CTC与注意力混合损失分离重叠编码并引导解码注意力，在LibriMix上验证了性能提升。
2024-09-11 cs.AI cs.SD eess.AS
Audio-visual Multi-channel Recognition of Overlapped Speech
Tencent AI Lab（腾讯人工智能实验室）
重叠语音的自动语音识别（ASR）至今仍是一项极具挑战性的任务。为此，多通道麦克风阵列数据被广泛用于最先进的ASR系统中。基于视觉模态对声信号失真的不变性，提出了一种分离前端和识别后端紧密结合的视听多通道重叠语音识别系统。开发了一系列基于\textit{TF masking}、\textit{filter\&sum}和\textit{mask-based MVDR}波束形成方法的视听多通道语音分离前端组件。为了减少分离和识别组件之间的错误成本不匹配，它们使用连接主义时间分类（CTC）损失函数或具有尺度不变信噪比（Si-SNR）错误成本的多任务标准插值进行联合微调。实验结果表明，该多通道AVSR系统在使用唇读句子2（LRS 2）数据集的模拟和重放构建的重叠语音上，其绝对词错误率（WER）分别比基线纯音频ASR系统降低了6.81%（相对值为26.83%）和22.22%（相对值为56.87%）.
2020-11-18 cs.CL cs.SD eess.AS
Serialized Output Training for End-to-End Overlapped Speech Recognition
Microsoft Corp.（微软公司）
本文提出了一种基于注意力的编码器-解码器方法的多说话人重叠语音识别框架--串行输出训练（SOT）。与置换不变训练（PIT）不同，SOT使用只有一个输出层的模型，该模型一个接一个地生成多个扬声器的transmittance。注意和解码器模块负责从重叠的语音中产生多个transmittance。与PIT相比，SOT有两个优点：（1）对说话者的最大数量没有限制，以及（2）能够对不同说话者的输出之间的依赖关系进行建模。我们还提出了一个简单的技巧，允许SOT被执行在$O(S)$，其中$S$是在训练样本中的扬声器的数量，通过使用的组成源话语的开始时间。在LibriSpeech语料库上的实验结果表明，SOT模型在不同说话人数目的重叠语音的转录上明显优于基于PIT的模型。我们还表明，SOT模型可以准确地计算输入音频中的扬声器数量。
2020-08-08 cs.CL cs.SD eess.AS
Recognizing Overlapped Speech in Meetings: A Multichannel Separation Approach Using Neural Networks
Microsoft AI and Research（微软人工智能与研究院）
本研究的目标是开发一个会议转录系统，即使不同说话人的话语重叠，也能识别语音。虽然语音重叠被认为是准确转录会议的主要障碍，但由于先前提出的语音分离技术对于应用于实际会议具有关键约束，因此仅使用具有单个输出的传统波束形成器。本文提出了一种新的信号处理模块，称为解混换能器，并描述了其实现使用加窗BLSTM。解混换能器具有固定数量（比如J）的输出声道，其中J可以不同于会议参加者的数量，并且解混换能器将输入多声道声学信号变换成J个时间同步音频流。会议中的每个话语被分离并从其中一个输出通道发出。然后，每个输出信号可以被简单地馈送到语音识别后端以进行分段和转录。我们的会议转录系统使用解混换能器优于基于最先进的神经掩模的波束形成器的系统10.8%。在重叠部分观察到显著改善。据我们所知，这是第一份报告，适用于重叠语音识别的无约束的真实会议音频。
2018-10-08 cs.CL cs.SD eess.AS
Attention-Based Beamformer For Multi-Channel Speech Enhancement
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
针对传统基于掩码的MVDR波束形成器因假设声源平稳而在移动声源场景下性能下降的问题，提出结合注意力机制、原位卷积和频率无关LSTM的端到端SCM估计方法，以更少计算量和参数实现更优的多通道语音增强效果。
2024-09-13 cs.SD eess.AS
Overlapped speech and gender detection with WavLM pre-trained features
LIUM（勒芒大学信息实验室）
本文着重于重叠的讲话和性别检测，以研究法国视听媒体中的男女互动（性别平等监测项目）。在这种应用背景下，我们需要根据说话人的性别自动分割语音信号，并识别何时至少有两个说话人同时说话。我们建议使用WavLM模型，它具有的优势，是预先训练的大量的语音数据，建立一个重叠的语音检测（OSD）和性别检测（GD）系统。在本研究中，我们使用了两个不同的语料库。DIHARD III语料库非常适合OSD任务，但缺乏性别信息。ALLIES语料库符合项目应用背景。我们最好的OSD系统是一个时间卷积网络（TCN），以WavLM预训练的特征作为输入，它在DIHARD上达到了最先进的F1评分性能。一个神经GD训练与WavLM输入的法国广播新闻ALLIES数据的性别平衡的子集，并获得97.9%的准确性。这项工作为人文科学研究人员开辟了关于法国媒体中男女代表性差异的新视角。
2022-09-09 cs.AI cs.SD eess.AS
Unified Autoregressive Modeling for Joint End-to-End Multi-Talker Overlapped Speech Recognition and Speaker Attribute Estimation
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）；Nagaoka University of Technology（长冈技术科学大学）
提出了一种新的单通道多说话人重叠自动语音识别（ASR）系统建模方法。完全基于神经网络的端到端模型已经显著地提高了多接受者重叠ASR任务的性能。一种很有前途的端到端建模方法是自回归建模与序列化输出训练，其中多个扬声器的transmittance一个接一个地递归生成。这使我们能够自然地捕捉说话者之间的关系。然而，传统的建模方法不能显式地考虑个体话语的说话者属性，例如性别和年龄信息。事实上，当每个说话者是同一性别或年龄接近时，性能会恶化。为了解决这个问题，我们提出了统一的自回归建模联合端到端的多说话人重叠ASR和说话人属性估计。我们的核心思想是在统一的自回归模型中处理性别和年龄估计任务。在该方法中，基于变换的自回归模型不仅递归地生成文本标记，而且还生成每个说话人的属性标记。这使得我们能够有效地利用说话人属性来改善多说话人重叠ASR。在日语多人重叠ASR任务上的实验验证了该方法的有效性。
2021-07-04 cs.CL cs.SD eess.AS
Cascaded encoders for fine-tuning ASR models on overlapped speech
Google Inc.（谷歌公司）
本文提出一种级联RNN-T编码器配置的MT-ASR模型，通过结合基础模型与多说话人掩码模型，在不牺牲非重叠语音性能的前提下，显著提升了重叠语音的识别准确率。
2023-06-28 cs.SD eess.AS
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology（奈良科学技术大学）
针对重叠语音中SOT隐式说话人分离不足的问题，提出SC-SOT方法，通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件，提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们在重叠语音的端到端自动语音识别（ASR）方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统，并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料，并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明，对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Unified Modeling of Multi-Talker Overlapped Speech Recognition and Diarization with a Sidecar Separator
The Chinese University of Hong Kong（香港中文大学）；National Taiwan University（国立台湾大学）
本文提出在冻结的ASR模型中插入带说话人分离分支的挎斗分离器，以仅768个参数的极小开销统一建模重叠语音识别与说话人分离，并在多个数据集上验证了有效性。
2023-05-25 cs.AI cs.CL cs.LG
Modeling Overlapped Speech with Shuffles
Johns Hopkins University（约翰霍普金斯大学）；LISN, CNRS（LISN-CNRS）；Carnegie Mellon University（卡内基梅隆大学）；Brno University of Technology（布拉格技术大学）
本文提出用洗牌操作建模重叠语音，通过洗牌积和偏序有限状态自动机实现对重叠语音的对齐和说话人标注。采用总分值作为损失函数进行训练，并通过偏序FSAs减少图规模。通过直接建模（token, speaker）元组实现说话人标注，Viterbi对齐通过洗牌积FSA实现单次对齐。
2026-03-18 cs.CL cs.LG cs.SD
Multi-channel end-to-end neural network for speech enhancement, source localization, and voice activity detection
语音增强和声源定位技术是近几十年来的研究热点，在实际应用中具有广泛的应用前景。最近，深度复杂卷积循环网络（DCCRN）为单通道系统带来了令人印象深刻的增强性能。在这项研究中，神经波束形成器组成的波束形成器和一种新的多通道DCCRN提出了语音增强和源定位。由多通道DCCRN估计的复值滤波器作为波束形成器的权重。此外，一个单阶段的学习为基础的过程是用于语音增强和源定位。建议的网络组成的多通道DCCRN和辅助网络模型的声场，同时最小化无失真的响应损失函数。仿真结果表明，该神经波束形成器能有效地增强语音信号，且语音质量保持良好。所提出的神经波束形成器还提供源定位和语音活动检测（VAD）功能。
2022-06-20 eess.AS
Royalflush Speaker Diarization System for ICASSP 2022 Multi-channel Multi-party Meeting Transcription Challenge
Hithink RoyalFlush AI Research Institute（海智思皇家同花顺人工智能研究院）
本文介绍了Royalflush发言人日记系统提交给多通道多方会议转录挑战赛（M2MeT）。我们的系统包括语音增强，重叠语音检测，说话人嵌入提取，说话人聚类，语音分离和系统融合。在这个系统中，我们做出了三个贡献。首先，我们提出了一个架构相结合的多通道和U-Net为基础的模型，旨在利用这两个单独的架构的好处，远场重叠语音检测。其次，为了利用重叠语音检测模型来辅助说话人分类，提出了一种基于语音分离的重叠语音处理方法，并在此基础上进一步应用了说话人确认技术。第三，我们研究了三种说话人嵌入方法，并在CNCeleb-E测试集上获得了最佳的性能。通过这些建议，我们最好的单个系统将DER从15.25%显著降低到6.40%，并且四个系统的融合最终在远场Alimeeting评估集上实现了6.30%的DER。
2022-02-18 cs.AI cs.SD eess.AS
Large-Scale Learning on Overlapped Speech Detection: New Benchmark and New General System
Hithink RoyalFlush AI Research Institute（同花顺人工智能研究院）；Zhejiang University（浙江大学）
针对重叠语音检测（OSD）在小数据集上鲁棒性与准确率不足的问题，提出基于Conformer网络与大规模学习（LSL）的通用系统CF-OSD，并构建151小时大规模测试集作为新基准，显著提升了检测性能。
2023-09-07 cs.SD eess.AS
Channel-Combination Algorithms for Robust Distant Voice Activity and Overlapped Speech Detection
Le Mans Université（勒芒大学）
本文提出基于自注意力通道组合器的三种多通道组合算法，解决远场联合语音活动与重叠语音检测问题，并引入通道数不变损失提升对不同麦克风阵列配置的泛化鲁棒性。
2024-02-13 cs.SD eess.AS
Speaker Diarization with Region Proposal Network
Johns Hopkins University（约翰斯·霍普金斯大学）
说话人日志化是许多语音应用中的一个重要的预处理步骤，它旨在解决“谁在什么时候说话”的问题。虽然标准的日记化系统可以在不同的场景中取得令人满意的结果，但它们是由多个独立优化的模块组成的，并且不能处理重叠的语音。本文提出了一种新的说话人日志化方法：基于区域建议网络的说话人日志化（RPNSD）。在该方法中，神经网络生成重叠的语音段建议，并同时计算它们的说话人嵌入。与标准的日志化系统相比，RPNSD具有更短的流水线，并能处理重叠语音。三个日志数据集上的实验结果表明，RPNSD实现了显着的改进，比国家的最先进的x向量基线。
2020-02-14 cs.SD eess.AS
Continuous speech separation: dataset and analysis
Microsoft（微软）
本文介绍了一个数据集和协议，用于评估连续语音分离算法。语音分离的大多数现有研究使用人工混合语音话语的预分割信号，这些语音话语大多是\emph{fully}重叠的，并且基于信号失真比或类似的性能度量来评估算法。然而，在自然对话中，语音信号是连续的，包含重叠分量和无重叠分量。此外，基于信号的度量与自动语音识别（ASR）准确性具有非常弱的相关性。我们认为，这不仅使评估测试算法的实际相关性变得困难，而且还阻碍了研究人员开发可随时应用于实际场景的系统。在本文中，我们定义连续语音分离（CSS）作为一个任务，从一个\textit{continuous}音频流，其中包含多个话语是\emph{partially}重叠不同程度的生成一组非重叠的语音信号。一个新的真实记录的数据集，称为LibriCSS，是从LibriSpeech派生的，通过连接语料库的话语来模拟对话，并用远场麦克风捕获音频回放。一个基于Kaldi的ASR评估协议也建立了使用一个训练有素的多条件声学模型。通过使用这个数据集，最近提出的说话人无关的CSS算法的几个方面进行了研究。数据集和评估脚本可用于促进这一方向的研究。
2020-05-07 cs.LG cs.SD eess.AS
Statistical Beamformer Exploiting Non-stationarity and Sparsity with Spatially Constrained ICA for Robust Speech Recognition
Sogang University（西江大学）
提出一种基于非平稳拉普拉斯分布和空间约束ICA的统计波束形成算法，通过结合掩模方差与松弛零点约束提升导向矢量估计，在CHiME-4和LibriCSS数据集上验证了其在批处理和在线处理下对鲁棒语音识别的有效性。
2024-01-05 cs.SD eess.AS
ADL-MVDR: All deep learning MVDR beamformer for target speech separation
语音分离算法通常用于将目标语音从其他干扰源中分离出来。然而，基于纯神经网络的语音分离系统经常导致非线性失真，这对于自动语音识别（ASR）系统是有害的。传统的基于掩模的最小方差无失真响应（MVDR）波束形成器可以用来最小化失真，但伴随着高水平的残留噪声。此外，矩阵运算（例如，矩阵求逆）在与神经网络联合训练时有时在数值上不稳定。在本文中，我们提出了一种新的全深度学习MVDR框架，其中矩阵求逆和特征值分解由两个递归神经网络（RNN）代替，以同时解决这两个问题。该方法利用RNN预测的帧间波束形成权值，在保持目标语音不失真的同时，大大降低了残余噪声。该系统是评估的普通话视听语料库和比较几个国家的最先进的（SOTA）语音分离系统。实验结果表明，该方法在几个客观指标和ASR准确性的优越性。
2021-02-09 eess.AS
Multi-Talker MVDR Beamforming Based on Extended Complex Gaussian Mixture Model
在这封信中，我们提出了一种新的多说话人最小方差无失真响应（MVDR）波束形成的前端的自动语音识别（ASR）系统在晚宴的情况下。选择CHiME-5数据集来评估我们针对具有严重噪声的重叠多说话者场景的提议。基于提出的扩展复高斯混合模型（CGMM），结合各种语音分离和语音增强模板，对波束形成进行了详细的研究。对多通话者场景采用原始的基于CGMM的MVDR进行了三个主要更改。首先，高斯分布的数量扩展到3个额外的推理说话人模型。其次，引入混合系数作为监督器，以生成更精细的掩码，避免置换问题。此外，我们重新组织的MVDR和基于掩码的语音分离，以实现降噪和目标说话人提取。使用官方基线ASR后端，与基线前端相比，我们的前端算法获得了13.87%的绝对WER降低。
2019-10-17 eess.AS
Handling Trade-Offs in Speech Separation with Sparsely-Gated Mixture of Experts
Microsoft（微软）
本文提出稀疏门控专家混合语音分离模型，在提升重叠语音分离性能、减少非重叠区域语音失真的同时，仅增加极小的计算开销。
2023-05-31 cs.SD eess.AS eess.SP
SelfRemaster: Self-Supervised Speech Restoration with Analysis-by-Synthesis Approach Using Channel Modeling
The University of Tokyo（东京大学）
提出了一种无需配对语音库的自监督语音恢复方法。由于先前的一般语音恢复方法使用通过将各种失真应用于高质量语音语料库而创建的人工配对数据，因此其不能充分地表示真实数据的声学失真，从而限制了适用性。我们的模型包括分析，合成和通道模块，模拟退化语音的记录过程，并以自我监督的方式用真实的退化语音数据进行训练。分析模块从退化语音中提取无失真语音特征和失真特征，而合成模块合成恢复的语音波形，并且信道模块将失真添加到语音波形。我们的模型还支持音频效果传输，其中仅从降级的语音中提取声学失真并添加到任意高质量音频中。模拟和真实数据的实验评估表明，我们的方法实现了显着更高质量的语音恢复比以前的监督方法，表明其适用于真正的退化语音材料。
2022-06-27 cs.SD eess.AS
Beam-Guided TasNet: An Iterative Speech Separation Framework with Multi-Channel Output
时域音频分离网络（TasNet）在盲源分离（BSS）中取得了显著的效果。经典的多通道语音处理框架采用信号估计和波束形成。例如，Beam-TasNet将多通道卷积TasNet（MC-Conv-TasNet）与最小方差无失真响应（MVDR）波束成形相连接，这利用了数据驱动网络的强大建模能力，并通过准确估计语音统计来提高波束成形的性能。这种集成可以被看作是一个有向无环图，通过接受多通道输入和生成多源输出。本文设计了一个多通道输入、多通道多源输出（MIMMO）的语音分离系统--“Beam-Guided TasNet”，其中MC-Conv-TasNet和MVDR在有向循环流的作用下可以更紧密地相互作用和促进。具体地说，第一阶段使用Beam-TasNet来生成估计的单扬声器信号，这有利于第二阶段的分离。所提出的框架有利于迭代信号细化与波束成形的指导下，并寻求达到上限的MVDR为基础的方法。在空间化WSJ 0 - 2 MIX上的实验结果表明，Beam-Guided TasNet实现了21.5 dB的SDR，在相同的模型大小下超过基线Beam-TasNet 4.1 dB，并将与基于oracle信号的MVDR的差距缩小到2 dB。
2022-04-12 eess.AS
An Effective Dereverberation Algorithm by Fusing MVDR and MCLP
在有混响的场景中，人机交互的体验会变差。为了解决这个问题，出现了许多去混响的方法。目前，在现有的基于多声道线性预测（MCLP）的混响消除方法中，如何更新卡尔曼滤波器的参数是一个具有挑战性的课题，尤其是目标语音的功率谱密度（PSD）的精确估计。本文将最小方差无失真响应（MVDR）波束形成器和MCLP算法有效地融合在去混响中，其中MCLP算法对用于卡尔曼滤波器的目标语音功率谱密度进行了修正。为了构造一个MVDR波束形成器，后期混响的PSD和噪声的PSD估计同时基于块的PSD估计。因此，用于卡尔曼滤波器的目标语音的PSD可以通过从观测信号的PSD中减去后期混响的PSD和噪声的PSD来获得。与参考方法相比，该方法表现出突出的性能。
2022-03-28 eess.AS
Online speaker diarization of meetings guided by speech separation
Institut Polytechnique de Paris（巴黎综合理工学院）
针对重叠语音干扰及语音分离模型难适配真实会议数据的问题，提出语音分离引导的在线说话人日志方案，经AMI语料微调后在AMI headset mix上达SOTA，重叠语音段表现尤佳。
2024-01-30 cs.LG cs.SD eess.AS
Multi-Channel Speech Enhancement using Graph Neural Networks
Facebook Reality Labs Research（Facebook Reality Labs 研究院）
多通道语音增强的目的是使用从多个麦克风捕获的信号从噪声混合物中提取干净的语音。最近提出的方法通过将深度神经网络模型与诸如最小方差无失真响应（MVDR）波束形成器的空间滤波技术相结合来解决这个问题。在本文中，我们介绍了一个不同的研究方向，通过查看每个音频通道作为一个节点躺在一个非欧几里德空间，具体来说，一个图形。这个公式允许我们应用图神经网络（GNN）来找到不同通道（节点）之间的空间相关性。我们利用图卷积网络（GCN），将它们纳入嵌入空间的U-Net架构。我们使用LibriSpeech数据集和模拟室内声学数据，使用不同的阵列类型和麦克风数量对我们的方法进行广泛的实验。结果表明，我们的方法相比，现有国家的最先进的方法的优越性。
2021-02-13 cs.SD eess.AS
End-to-End Integration of Speech Recognition, Dereverberation, Beamforming, and Self-Supervised Learning Representation
Tokyo Metropolitan University（东京都立大学）；Carnegie Mellon University（卡内基梅隆大学）；Università Politecnica delle Marche（马尔凯理工大学）
自监督学习表示（SSLR）在自动语音识别（ASR）中已经证明了其显著的有效性，主要是对干净语音。最近的工作指出了在噪声环境中将SSLR与用于ASR的单通道语音增强相结合的优势。本文通过处理多通道输入进一步推进了这种集成。我们提出了一种新的端到端的架构，集成混响，波束成形，SSLR，和ASR在一个单一的神经网络。我们的系统实现了最好的性能，在文献中报道的CHiME-4 6通道轨道的字出错率（WER）为1.77%。虽然基于WavLM的强SSLR本身表现出了令人鼓舞的结果，但与加权功率最小化无失真响应波束形成器的端到端集成（同时执行去混响和去噪）显着提高了WER。其有效性也在REVERB数据集上得到了验证。
2022-10-19 cs.SD eess.AS
Multi-Input Multi-Output Target-Speaker Voice Activity Detection For Unified, Flexible, and Robust Audio-Visual Speaker Diarization
针对传统TS-VAD易受重叠语音干扰、视觉模态存在缺失与遮挡问题，提出MIMO-TSVAD框架，依托统一序列到序列架构实现多模态灵活融合的说话人分割，在多个数据集上取得SOTA性能且鲁棒性优异。
2025-07-31 eess.AS
Neural Spatio-Temporal Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
基于神经网络的语音分离和增强方法虽然能取得较好的客观效果，但不可避免地会产生非线性语音失真，这对自动语音识别（ASR）是有害的。另一方面，最小方差无失真响应（MVDR）波束形成器与NN预测的面具，虽然可以显着减少语音失真，具有有限的降噪能力。在本文中，我们提出了一个多抽头MVDR波束形成器与复值掩模语音分离和增强。与现有技术的基于NN掩模的MVDR波束形成器相比，除了现有技术中已经利用的麦克风间相关性之外，多抽头MVDR波束形成器还利用帧间相关性。进一步的改进包括用复值掩码替换实值掩码和复掩码NN的联合训练。对我们的多模态多通道目标语音分离和增强平台的评估表明，我们提出的多抽头MVDR波束形成器相对于现有技术提高了ASR准确性和感知语音质量。
2020-07-31 cs.SD eess.AS
Generalized Spatio-Temporal RNN Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）；Indiana University（印第安纳大学）
传统的基于掩码的最小方差无失真响应（MVDR）方法虽然可以减小非线性失真，但MVDR分离语音的残余噪声水平仍然很高。在本文中，我们提出了一个时空递归神经网络波束形成器（RNN-BF）的目标语音分离。这种新的波束形成框架直接从估计的语音和噪声空间协方差矩阵学习波束形成权重。利用RNN的时间建模能力，RNN-BF可以自动累积语音和噪声协方差矩阵的统计信息，以递归方式学习帧级波束成形权重。提出了一种基于RNN的广义特征值波束形成器（RNN-GEV）和一种更广义的RNN波束形成器（GRNN-BF）。我们通过使用层归一化来代替协方差矩阵上常用的掩码归一化，进一步改进了RNN-GEV和GRNN-BF。所提出的GRNN-BF在语音质量（PESQ）、语音噪声比（SNR）和字出错率（WER）方面获得了优于现有技术的性能。
2021-04-03 cs.SD eess.AS
End-to-end speaker segmentation for overlap-aware resegmentation
IRIT, Université de Toulouse, CNRS（图卢兹大学计算机科学研究所（IRIT），法国国家科学研究中心）
说话人分割是将一个或多个说话人之间的对话划分为说话人话轮。通常解决的三个子任务（语音活动检测，说话人变化检测，重叠语音检测）的后期组合，我们提出了训练一个端到端的分割模型，直接做。受原始端到端神经说话人日记化方法（EEND）的启发，该任务被建模为使用置换不变训练的多标签分类问题。主要的区别是，我们的模型在短音频块（5秒）上运行，但时间分辨率要高得多（每16毫秒）。在多个说话人日志数据集上的实验表明，该模型可以成功地用于语音活动检测和重叠语音检测。我们提出的模型也可以用作后处理步骤，检测和正确分配重叠的语音区域。相对于最佳考虑基线（VBx）的相对日志错误率改善在AMI上达到17%，在DIHARD 3上达到13%，在VoxConverse上达到13%。
2021-06-10 cs.SD eess.AS
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology（格拉茨技术大学）；Ruperts Karls University（海德堡大学）
虽然机器学习技术传统上是资源密集型的，但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中，我们提供了一种基于深度神经网络（DNN）的多通道语音增强的资源高效方法。特别是，我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应（MVDR）或广义特征值（GEV）波束形成器。在二进制权重和精度降低的激活的极端情况下，可以显著减少执行时间和内存占用，同时仍然获得几乎与单精度DNN相当的音频质量，并且使用WSJ0语音语料库的单个说话者场景的字错误率（WER）略高。
2020-07-22 cs.LG cs.SD eess.AS
End-to-End Far-Field Speech Recognition with Unified Dereverberation and Beamforming
Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管端到端方法在多通道语音识别中得到了成功的应用，但当语音被混响破坏时，识别性能仍然会严重下降。在本文中，我们将去混响模块集成到端到端的多通道语音识别系统中，并探讨了两种不同的前端架构。首先，多源掩模为基础的加权预测误差（WPE）模块被纳入前端去混响。其次，提出了另一种新的前端架构，它扩展了加权功率最小化无失真响应（WPD）卷积波束形成器，以执行同时分离和去混响。我们推导出一个新的配方从原来的WPD，它可以处理多源输入，并取代特征值分解与矩阵求逆运算，使反向传播算法更稳定。以上两种架构都是以完全端到端的方式进行优化的，只使用了语音识别标准。在空间化wsj 1 - 2 mix语料库和REVERB上的实验表明，该模型在混响场景下的性能优于传统方法。
2020-10-27 cs.SD eess.AS
DNN-Based Speech Presence Probability Estimation for Multi-Frame Single-Microphone Speech Enhancement
University of Oldenburg（奥尔登堡大学）
用于单麦克风语音增强的多帧方法，多帧最小功率无失真响应（MFMPDR）滤波器能够利用相邻时间帧上的语音相关性。与诸如维纳增益的单帧方法相比，已经示出，多帧方法实现了几乎没有任何语音失真的实质性噪声降低，只要相关矩阵的准确估计，特别是语音帧间相关（IFC）向量是可用的。IFC向量的典型估计过程需要估计每个时频（TF）仓中的语音存在概率（SPP）。在本文中，我们建议使用双向长短期记忆深度神经网络（DNN）来估计每个TF bin的SPP。为了实现鲁棒性能，DNN针对各种噪声类型和大信噪比范围进行训练。实验结果表明，MFMPDR与建议的数据驱动的SPP估计相结合，产生了一个国家的最先进的基于模型的SPP估计相比，提高了语音质量。此外，它被证实，利用帧间相关性的MFMPDR是有益的相比，维纳增益，特别是在不利的情况下。
2022-11-14 cs.SD eess.AS
WPD++: An Improved Neural Beamformer for Simultaneous Speech Separation and Dereverberation
Tencent AI Lab（腾讯AI实验室）
本文旨在消除干扰说话人的语音，加性噪声，混响从嘈杂的多说话人的语音混合，有利于自动语音识别（ASR）后端。虽然最近提出的加权功率最小化无失真响应（WPD）波束形成器可以同时执行分离和去混响，但噪声消除组件仍有可能取得进展。我们提出了一种改进的神经WPD波束形成器称为“WPD++”，通过增强的波束形成模块在传统的WPD和多目标的损失函数的联合训练。利用空时相关性对波束形成模块进行了改进。通过适当地设计多目标损失，包括复谱域尺度不变信噪比（C-Si-SNR）和幅度域均方误差（Mag-MSE），对增强语音和干洗信号的期望功率进行多重约束。联合训练进行优化复值掩模估计器和WPD++波束形成器在端到端的方式。实验结果表明，WPD++算法在提高语音质量和提高语音识别误码率方面优于现有的几种波束形成算法。
2020-11-18 cs.SD eess.AS
Deep Multi-Frame MVDR Filtering for Single-Microphone Speech Enhancement
用于单麦克风语音增强的多帧算法，例如，多帧最小方差无失真响应（MFMVDR）滤波器能够在短时傅里叶变换（STFT）域中利用相邻时间帧上的语音相关性。提供所需的语音帧间相关向量和噪声相关矩阵的准确估计是可用的，它已被证明，MFMVDR滤波器产生大量的噪声减少，而几乎不引入任何语音失真。为了融合MFMVDR滤波器的语音增强潜力和时间卷积网络（TCN）的估计能力，本文提出将MFMVDR滤波器嵌入深度学习框架中。TCN被训练为通过最小化MFMVDR滤波器输出处的尺度不变信号失真比损失函数来将有噪语音STFT系数映射到所需的量。实验结果表明，提出的深度MFMVDR滤波器在深度噪声抑制挑战数据集上实现了有竞争力的语音增强性能。特别地，结果表明，估计MFMVDR滤波器的参数在PESQ和STOI方面比直接估计多帧滤波器或单帧掩模以及比Conv-TasNet产生更高的性能。
2020-11-20 eess.AS eess.SP
Acoustic modeling for Overlapping Speech Recognition: JHU Chime-5 Challenge System
本文针对CHiME-5挑战赛的高度重叠多通道晚宴语音识别任务，探索多种声学建模相关技术并对比内部实现与公开工具，最终开发集词错率较基线绝对提升11.7%，还发布了改进的高级CHiME-5配方。
2024-05-17 eess.AS
