Practical applicability of deep neural networks for overlapping speaker separation
KU Leuven（鲁汶大学）
本文研究了两种基于深度学习的解决方案在实际场景中对重叠说话人分离问题的适用性。首先，我们提出的实验表明，这些方法适用于广泛的语言。进一步的实验表明，当未训练的语言与训练的语言具有共同特征时，未训练的语言的性能损失有限。其次，它研究了如何处理现实的背景噪声的方法，并提出了一些修改，以更好地应对这些干扰。我们将研究的深度学习方法是深度聚类和深度吸引子网络。
2019-12-19 cs.LG cs.SD eess.AS
Divide and Conquer: A Deep CASA Approach to Talker-independent Monaural Speaker Separation
The Ohio State University（俄亥俄州立大学）
我们从深度学习和计算听觉景物分析（CASA）的角度解决与说话者无关的单耳说话者分离。具体来说，我们将多说话人分离任务分解为同时分组和顺序分组两个阶段。同时分组首先在每个时间帧中进行分离的频谱不同的发言人与排列不变的训练神经网络。在第二阶段中，帧级分离的频谱通过聚类网络顺序地分组到不同的扬声器。所提出的深度CASA方法依次优化了帧级分离和说话人跟踪，并为这两个目标产生了良好的效果。在WSJ 0 - 2 mix基准数据库上的实验结果表明，该方法在模型规模较小的情况下取得了较好的效果.
2019-04-25 cs.LG cs.SD eess.AS
Wavesplit: End-to-End Speech Separation by Speaker Clustering
Google Research（谷歌研究院）
我们介绍Wavesplit，一个端到端的源分离系统。从单个混合物，模型推断每个源的表示，然后在给定推断的表示的情况下估计每个源信号。该模型被训练为从原始波形联合执行两个任务。Wavesplit通过聚类来推断一组源表示，这解决了分离的基本置换问题。对于语音分离，与以前的工作相比，我们的序列范围的说话人表示提供了更强大的分离长，具有挑战性的录音。Wavesplit重新定义了2或3个扬声器的干净混合（WSJ 0 -2/3 mix）以及嘈杂和混响环境（WHAM/WHAMR）中的最新技术水平。我们还在最近的LibriMix数据集上设置了一个新的基准。最后，我们表明，Wavesplit也适用于其他领域，从一个单一的腹部心电图分离胎儿和产妇的心率。
2020-07-02 cs.CL cs.LG cs.SD
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法，通过减少计算复杂性并保持性能，提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
Single-Channel Speech Separation with Auxiliary Speaker Embeddings
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
本文提出了一种新的声源分离模型，将单声道语音信号分解为两个不同说话人的语音段。所提出的模型是一个基于残差块的神经网络，并使用学习的扬声器嵌入创建从额外的干净的上下文记录的两个扬声器作为输入，以帮助归因于不同的时间频率箱的两个扬声器。在实验中，我们表明，该模型在声源分离任务中产生良好的性能，并优于最先进的基线。具体来说，从具有挑战性的VoxCeleb数据集分离语音，所提出的模型产生4.79dB的信号失真比，8.44dB的信号伪影比和7.11dB的信号干扰比。
2019-06-24 cs.LG cs.SD eess.AS
Coarse-to-Fine Recursive Speech Separation for Unknown Number of Speakers
The Chinese University of Hong Kong（香港中文大学）
绝大多数语音分离方法都假设说话者的数量是预先已知的，因此它们特定于说话者的数量。相比之下，一个更现实和更具挑战性的任务是分离一个混合，其中说话人的数量是未知的。将说话人个数未知的语音分离问题转化为多通道源提取问题，提出了一种由粗到精的递归语音分离方法。该方法包括两个阶段，即递归线索提取和目标说话人提取。递归提示提取阶段确定需要执行多少次计算迭代，并通过监视混合中的统计数据来输出粗略提示语音。随着递归迭代次数的增加，失真的累积最终进入提取的语音和提醒。因此，在第二阶段，我们使用一个目标说话人提取网络提取一个精细的语音的基础上，粗目标线索和原始的无失真的混合。实验表明，该方法在不同数量的说话人的WSJ0数据集上取得了最佳的性能。此外，它很好地推广到一个看不见的大量发言者。
2022-03-30 cs.LG cs.SD eess.AS
Monaural Audio Speaker Separation with Source Contrastive Estimation
Lab41, In-Q-Tel Laboratories（Lab41，In-Q-Tel实验室）
我们提出了一个算法，同时发言的人从彼此分离，“鸡尾酒会问题”，使用一个麦克风。我们的方法涉及深度递归神经网络回归到描述独立说话者的向量空间。这样的向量空间可以嵌入凭经验确定的扬声器特性，并且通过区分扬声器掩码来优化。我们称这种技术为源对比估计。该方法受到负采样的启发，负采样在自然语言处理中取得了成功，其中通过将给定的输入向量与输出权重进行相关和解相关来学习嵌入。虽然由输出权重确定的矩阵取决于一组已知的扬声器，但我们在推理期间仅使用输入向量。这样做将确保声源分离是显式地与说话者无关的。我们的方法类似于最近的深度神经网络聚类和置换不变训练研究;我们使用加权频谱特征和掩码来增强单个扬声器频率，同时过滤掉其他扬声器。然而，我们避免了其他方法与我们的技术严重的计算负担。此外，通过训练向量空间而不是不同说话者的组合或其差异，我们避免了训练期间的所谓排列问题。我们的算法提供了一个直观的，计算效率高的响应鸡尾酒会的问题，最重要的是拥有更好的经验性能比其他目前的技术。
2017-05-12 cs.AI cs.LG cs.SD
Many-Speakers Single Channel Speech Separation with Optimal Permutation Training
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
单通道语音分离技术在过去几年中取得了很大的进展。然而，训练大量说话者的神经语音分离（例如，超过10个扬声器）对于依赖于排列不变损失（PIT）的当前方法来说是遥不可及的。在这项工作中，我们提出了一个置换不变的训练，采用匈牙利算法，以训练与$O(C^3)$的时间复杂度，其中$C$是扬声器的数量，在比较$O(C!)$的PIT为基础的方法。此外，我们提出了一个修改后的架构，可以处理增加的扬声器数量。我们的方法分离到$20$扬声器，并提高了以前的结果，大$C$的一个很大的利润。
2021-11-07 cs.AI cs.LG cs.SD
CNN-LSTM models for Multi-Speaker Source Separation using Bayesian Hyper Parameter Optimization
KU Leuven（鲁汶大学）
近年来，针对多说话者声源分离问题，出现了许多深度学习方法。大多数使用长短期记忆-递归神经网络（LSTM-RNN）或卷积神经网络（CNN）来建模语音的顺序行为。在本文中，我们提出了一种新的网络，用于并行使用编码器-解码器CNN和LSTM的声源分离。必须为网络的两个部分选择超参数，并且它们可能相互依赖。由于超参数网格搜索具有高计算负担，随机搜索通常是优选的。然而，当对超参数空间中的新点进行采样时，它可能非常接近先前评估的点，因此几乎没有提供额外的信息。此外，随机抽样很可能在有希望的区域进行抽样，就像在以性能差的模型为主的超空间区域进行抽样一样。因此，我们使用贝叶斯超参数优化技术，发现并行CNN-LSTM优于LSTM和CNN模型。
2019-12-19 cs.LG eess.AS stat.ML
Multiple Choice Learning for Efficient Speech Separation with Many Speakers
Télécom Paris, Institut polytechnique de Paris（巴黎理工学院电信学院）；Le Mans Université（勒芒大学）
针对监督语音分离的排列问题，提出采用多选择学习（MCL）框架替代传统PIT，实验表明其在WSJ0-mix和LibriMix基准上性能相当且计算更优，还可扩展处理可变说话人数量或无监督场景。
2024-11-27 cs.LG cs.SD eess.AS
Speaker-independent Speech Separation with Deep Attractor Network
尽管最近深度学习在许多语音处理任务中取得了成功，但由于两个主要原因，单麦克风、与说话者无关的语音分离仍然具有挑战性。第一个原因是混合置换问题中目标和掩蔽说话人的任意顺序，第二个原因是混合输出维数问题中说话人的数目未知。我们提出了一个新的深度学习框架，语音分离，解决这两个问题。我们使用一个神经网络将混合信号的时频表示投影到一个高维嵌入空间中。在嵌入空间中创建一个参考点吸引子来表示每个说话人，该参考点吸引子被定义为说话人在嵌入空间中的质心。每个说话人的时频嵌入，然后被迫集群周围的相应的吸引子点，这是用来确定的时频分配的扬声器。我们提出了三种方法来寻找吸引子的嵌入空间中的每个源，并比较它们的优点和局限性。该网络的目标函数是标准信号重构误差，可在训练和测试阶段实现端到端操作。我们使用《华尔街日报》数据集WSJ0对两个和三个说话者混合进行了评估，并报告了与其他最先进的深度学习语音分离方法相当或更好的性能。
2018-04-18 cs.LG cs.SD
Robustness of Speech Separation Models for Similar-pitch Speakers
本文研究语音分离模型在说话人音高相似时的鲁棒性，发现现代模型在匹配条件下性能差距缩小，但在不匹配条件下仍存在显著性能下降，需进一步研究泛化能力。
2024-07-22 cs.LG eess.AS eess.SP
Multi-Decoder DPRNN: High Accuracy Source Counting and Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个端到端的可训练的方法，单通道语音分离未知数量的扬声器。我们的方法扩展了MulCat声源分离骨干与额外的输出头：一个计数头来推断扬声器的数量，和解码器头重建原始信号。除了该模型，我们还提出了一个度量如何评估声源分离与可变数量的发言人。具体来说，我们澄清了如何评估质量的问题时，地面实况有更多或更少的发言人比模型预测的。我们在WSJ0混合数据集上评估了我们的方法，混合了多达五个扬声器。我们证明了我们的方法在计算扬声器数量方面优于最先进的方法，并且在重建信号的质量方面仍然具有竞争力。
2020-11-30 cs.LG cs.SD eess.AS
Online speaker diarization of meetings guided by speech separation
Institut Polytechnique de Paris（巴黎综合理工学院）
针对重叠语音干扰及语音分离模型难适配真实会议数据的问题，提出语音分离引导的在线说话人日志方案，经AMI语料微调后在AMI headset mix上达SOTA，重叠语音段表现尤佳。
2024-01-30 cs.LG cs.SD eess.AS
Auditory Separation of a Conversation from Background via Attentional Gating
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一个模型，用于分离出一组声音的声音混合包含一个未知数量的来源。我们的注意力门控网络（AGN）使用一个可变的注意力上下文，以指定哪些扬声器的混合物是感兴趣的。注意上下文由嵌入向量指定，该嵌入向量通过加性偏置来修改神经网络的处理。个体说话人嵌入被学习以分离单个说话人，而个体说话人嵌入的叠加被用于分离说话人集合。我们首先评估AGN在传统的单扬声器分离任务，并显示出9%的改进与可比模型。然后，我们引入了一个新的任务，从一组未知大小的声音的混合物中分离出一个任意的声音子集，这是受到人类在自助餐厅将感兴趣的对话与背景聊天分开的能力的启发。我们表明，AGN是唯一的模型能够解决这个任务，执行只有7%比单扬声器分离任务。
2019-05-26 cs.LG cs.SD eess.AS
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation
Microsoft Research（微软研究院）；Aalborg University（奥尔堡大学）
我们提出了一种新的深度学习模型，它支持排列不变训练（PIT），用于说话人无关的多说话人语音分离，通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割（或聚类）问题的深度聚类技术不同，我们的模型优化了分离回归误差，忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题，该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信，基于PIT的改进最终可以解决鸡尾酒会问题，并使现实世界能够采用，例如，自动会议转录和多方人机交互，其中重叠语音是常见的。
2017-01-03 cs.CL cs.LG cs.SD
Blind Speech Separation and Dereverberation using Neural Beamforming
Graz University of Technology（格拉茨技术大学）
在本文中，我们提出了盲语音分离和去混响（BSSD）网络，它同时执行说话人分离，去混响和说话人辨识在一个单一的神经网络。说话人分离是由一组预定义的空间线索。利用神经波束形成进行混响消除，并通过嵌入向量和三元组挖掘辅助说话人辨识。我们介绍了一个频领域模型，它使用复值神经网络，和一个时域变量，执行波束形成的潜在空间。此外，我们提出了一个块在线模式来处理较长的音频记录，因为它们发生在会议场景中。我们评估我们的系统在尺度无关的信号失真比（SI-SDR），字出错率（WER）和相等的出错率（EER）。
2021-11-05 cs.LG cs.SD eess.AS
UNSSOR: Unsupervised Neural Speech Separation by Leveraging Over-determined Training Mixtures
Carnegie Mellon University（卡内基梅隆大学）
UNSSOR利用麦克风数多于说话人数时的混合信号求和约束，结合DNN估计与子频带前向卷积预测滤波，并通过最小化源内幅度散射解决频率置换问题，实现无监督神经语音分离，且可推广至欠定单声道分离。
2023-10-29 cs.LG cs.SD eess.AS
SepIt: Approaching a Single Channel Speech Separation Bound
University of YYY（YYY大学）；Institute of WWW（WWW研究所）；Tel-Aviv University（特拉维夫大学）；Meta AI Research（Meta人工智能研究院）
本文提出单通道语音分离任务的上界，并引入深度神经网络SepIt，通过基于互信息准则的迭代改进策略，在2至10个说话人场景下均超越现有最先进方法。
2023-05-21 cs.LG cs.SD eess.AS
Multi-talker Speech Separation with Utterance-level Permutation Invariant Training of Deep Recurrent Neural Networks
Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Research（微软研究院）；Oticon A/S（奥迪康公司）
在本文中，我们提出了话语级排列不变训练（uPIT）技术。uPIT是一种实际适用的、端到端的、基于深度学习的解决方案，用于与说话者无关的多说话者语音分离。具体而言，uPIT扩展了最近提出的Permutation Invariant Training（PIT）技术与话语级成本函数，从而消除了在推理过程中解决额外的置换问题的需要，否则需要帧级PIT。我们使用循环神经网络（RNN）来实现这一点，该网络在训练期间最小化话语级分离误差，从而迫使属于同一说话者的分离帧与同一输出流对齐。在实践中，这允许使用uPIT训练的RNN在没有任何关于信号持续时间、说话者数量、说话者身份或性别的先验知识的情况下分离多说话者混合语音。我们在WSJ0和丹麦的两个和三个说话者的混合语音分离任务上评估了uPIT，发现uPIT优于基于非负矩阵分解（NMF）和计算听觉景物分析（CASA）的技术，并与深度聚类（DPCL）和深度吸引子网络（DANet）相媲美。此外，我们发现用uPIT训练的模型可以很好地推广到看不见的说话者和语言。最后，我们发现使用uPIT训练的单个模型可以处理两个扬声器和三个扬声器的语音混合。
2017-07-11 cs.LG cs.SD eess.AS
DNN driven Speaker Independent Audio-Visual Mask Estimation for Speech Separation
University of Stirling（斯特林大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；University of Sheffield（谢菲尔德大学）
人类的听觉皮层擅长选择性地抑制背景噪音，以专注于目标说话者。已知大脑中的选择性注意过程是根据上下文利用可用的音频和视觉线索来更好地关注目标说话者，同时过滤掉其他噪音。在这项研究中，我们提出了一种新的基于深度神经网络（DNN）的视听（AV）掩模估计模型。所提出的AV掩模估计模型结合了音频和抗噪声视觉特征的时间动态，以改进掩模估计和语音分离。对于最佳AV特征提取和理想二进制掩码（IBM）估计，利用混合DNN架构来利用堆叠的长短期记忆（LSTM）和卷积LSTM网络的互补优势。在语音质量和可懂度方面的比较仿真结果表明，我们提出的AV掩模估计模型相比，音频和视觉掩模估计方法的扬声器相关和独立的情况下，显着的性能改善。
2018-07-31 cs.CV cs.LG cs.SD
SepMamba: State-space models for speaker separation using Mamba
Technical University of Denmark（丹麦技术大学）；WS Audiology A/S（WS听力科技公司）
本文提出主要由双向 Mamba 层构成的 U-Net 架构 SepMamba，用于单通道说话人分离，并在 WSJ0 2-speaker 上以更低计算、内存和前向时间超过同规模主流模型。
2024-10-28 cs.LG cs.SD eess.AS
SepRQ : Self-Supervised Speech Mixture Representation Learning via Mask-Free, Multi-Scale Source Separation
Univ Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；pyannoteAI；ILLS（拉瓦尔国际学习实验室）
SepRQ通过无掩码多尺度源分离目标替代掩码预测，在SUPERB基准上实现说话人日志和语音分离最先进性能，仅需85.68M参数，并开源。
2026-10-06 cs.CL cs.LG eess.AS
Mixture Encoder for Joint Speech Separation and Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）；Paderborn University（帕德博恩大学）
提出一种混合编码器方法，结合模块化与端到端优势，在ASR中融入混合语音信息并交换说话人上下文，在SMS-WSJ任务上词错误率相对降低7%。
2023-06-21 cs.CL cs.LG
All-neural online source separation, counting, and diarization for meeting analysis
NTT Communication Science Laboratories, NTT Corporation（NTT集团NTT通信科学实验室）；Paderborn University（帕德博恩大学）
自动会议分析包括说话人计数、说话人日志化、重叠语音的分离以及随后的自动语音识别。这一切都必须在任意长的会话上进行，理想情况下，以在线或块在线的方式进行。虽然在个别任务上取得了重大进展，但本文首次提出了一种全神经方法来同时进行说话人计数，日记化和源分离。基于NN的估计器以块在线方式操作并跟踪扬声器，即使他们在许多时间块内保持沉默，从而为分离的源学习稳定的输出顺序。神经网络随着时间以及源的数量而循环。仿真实验表明，该算法在实现最佳分离性能的同时，还能获得良好的日志化和源计数结果。它甚至可以很好地推广到看不见的大量块。
2019-02-21 cs.LG cs.SD eess.AS
Personalized Keyphrase Detection using Speaker and Environment Information
Google LLC（谷歌有限责任公司）
在本文中，我们介绍了一个流关键短语检测系统，可以很容易地定制，以准确地检测任何短语组成的单词从一个大的词汇。该系统实现了一个端到端的训练自动语音识别（ASR）模型和文本无关的说话人验证模型。为了解决在各种噪声条件下检测这些关键词的挑战，将说话人分离模型添加到说话人验证模型的特征前端，并包括自适应噪声消除（ANC）算法以利用跨麦克风噪声相干性。我们的实验表明，文本无关的说话人确认模型大大降低了错误触发率的关键词检测，而说话人分离模型和自适应噪声消除大大减少了错误拒绝。
2021-06-15 cs.LG cs.SD eess.AS
Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
单通道非特定人语音分离方法近年来取得了很大的进展。然而，这种方法的准确性、延迟和计算成本仍然不足。大多数以前的方法都是通过混合信号的时频表示来表达分离问题，这有几个缺点，包括信号的相位和幅度的解耦，用于语音分离的时频表示的次优性，以及计算频谱图的长延迟。为了解决这些缺点，我们提出了一个全卷积时域音频分离网络（Conv-TasNet），这是一个用于端到端时域语音分离的深度学习框架。Conv-TasNet使用线性编码器来生成语音波形的表示，该表示针对分离单个扬声器进行了优化。说话人分离是通过对编码器输出应用一组加权函数（掩码）来实现的。然后使用线性解码器将修改的编码器表示反转回波形。使用由堆叠的1-D扩张卷积块组成的时间卷积网络（TCN）来找到掩码，这允许网络对语音信号的长期依赖性进行建模，同时保持小的模型大小。所提出的Conv-TasNet系统在分离两个和三个扬声器混合物方面显着优于以前的时频掩蔽方法。此外，Conv-TasNet在两个扬声器语音分离中超过了几个理想的时频幅度掩模，这是通过客观失真测量和人类听众的主观质量评估来评估的。最后，Conv-TasNet具有更小的模型大小和更短的最小延迟，使其成为离线和实时语音分离应用的合适解决方案。
2019-05-15 cs.LG cs.SD eess.AS
Discriminative Learning for Monaural Speech Separation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
深度聚类（DC）和话语级排列不变训练（uPIT）已被证明有希望用于说话者无关的语音分离。DC通常被表述为两步过程：嵌入学习和嵌入聚类，这导致复杂的分离管道和直接优化实际分离目标的巨大障碍。对于uPIT，它只最小化所选的具有最小均方误差的排列，而不将其与其他排列区分开。在本文中，我们提出了一种使用深度嵌入特征的非特定人语音分离的判别学习方法。首先，训练DC网络提取深嵌入特征，这些特征包含每个源的信息，并且在区分每个目标说话人方面具有优势。然后，这些特征被用作uPIT的输入以直接分离不同源。最后，联合训练uPIT和DC，直接优化实际分离目标。此外，为了最大化每个排列的距离，应用判别学习来微调整个模型。我们的实验是在WSJ 0 - 2 mix数据集上进行的。实验结果表明，本文提出的模型在非特定人语音分离中取得了比DC和uPIT更好的性能。
2019-07-23 cs.LG cs.SD eess.AS
Deep attractor network for single-microphone speaker separation
Columbia University（哥伦比亚大学）
尽管深度学习在各种语音处理任务中取得了压倒性的成功，但在混合物中分离同时说话者的问题仍然具有挑战性。在这种系统中的两个主要困难是任意的源置换和未知数量的混合源。我们提出了一种新的用于单通道语音分离的深度学习框架，该框架通过在声学信号的高维嵌入空间中创建吸引子点来将对应于每个源的时频仓拉在一起。在这项研究中的吸引子点是通过找到嵌入空间中的源的质心来创建的，这些质心随后被用来确定混合物中的每个bin与每个源的相似性。然后训练网络，通过优化嵌入来最小化每个源的重建误差。该模型与以往的模型不同之处在于，它实现了端到端的训练，并且不依赖于混合源的数量。在测试时间，K-均值和固定吸引点，其中后者不需要后处理，可以在实时实现两种策略进行了探索。我们在华尔街日报数据集上对我们的系统进行了评估，并显示出比以前最先进的方法提高了5.49%。
2017-03-28 cs.LG cs.SD
Online Self-Attentive Gated RNNs for Real-Time Speaker Separation
Facebook AI Research（脸书人工智能研究院）；Facebook Reality Labs（脸书现实实验室）；University of Maryland（马里兰大学）
深度神经网络最近在单声道和双耳环境下的盲源分离任务中取得了巨大成功。虽然这些方法被证明可以产生高质量的分离，但它们主要应用于离线设置，其中模型在分离信号时可以访问完整的输入信号。在这项研究中，我们将一个非因果关系的最先进的分离模型转换成一个因果关系和实时模型，并评估其性能在线和离线设置。我们比较了该模型的性能，在消声，嘈杂，嘈杂的混响记录条件下，同时探索单声道和双耳输入和输出的几个基线方法。我们的研究结果揭示了因果模型和非因果模型在分离时的相对差异。与离线模型相比，我们用于在线分离的有状态实现导致性能略有下降;单声道输入为0.8dB，双耳输入为0.3dB，同时达到0.65的实时因子。示例可以在以下链接中找到：https://kwanum.github.io/sagrnnc-stream-results/。
2021-07-27 cs.AI cs.LG cs.SD
Transcription-Free Fine-Tuning of Speech Separation Models for Noisy and Reverberant Multi-Speaker Automatic Speech Recognition
Solventum（索尔文腾公司）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
针对真实重叠语音缺少参考转录的问题，提出仅用音频、以预训练ASR编码器嵌入差异为损失并结合GPIT的无转录联合微调方法，显著降低WER并提升STOI。
2024-06-13 cs.LG cs.SD eess.AS
Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation
Peking University Shenzhen Graduate School（北京大学深圳研究生院）
目标语音分离是指从混合信号中提取出目标说话人的语音。尽管最近在基于深度学习的近距离语音分离方面取得了进展，但实际应用仍然是一个悬而未决的问题。两个主要的挑战是复杂的声学环境和实时处理的要求。为了解决这些挑战，我们提出了一种时空神经滤波器，它直接从混响环境中的多说话人混合中估计目标语音波形，并辅以说话人的方向信息。首先，针对复杂环境带来的变化，通过对目标和干扰源的时间、频谱和空间分辨能力进行联合建模，提高声信号表示的完整性。具体而言，时间，频谱，空间以及设计的方向特征被集成以创建联合声学表示。其次，为了减少延迟，我们设计了一个完全卷积的自动编码器框架，它是纯端到端和单通道的。所有的特征计算由网络层和操作来实现，以加快分离过程。在非特定人场景下对模拟混响数据集WSJ 0 - 2 mix和WSJ 0 - 3 mix进行了评估。实验结果表明，该方法优于最先进的基于深度学习的多通道方法，具有更少的参数和更快的处理速度。此外，所提出的时空神经滤波器可以处理不同的和未知数量的扬声器的混合，并表现出持久的性能，即使存在方向估计误差。代码和模型将很快发布。
2020-01-02 cs.LG cs.SD eess.AS
WHAM!: Extending Speech Separation to Noisy Environments
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
最近在使用单个音频通道分离来自多个重叠扬声器的语音信号方面的进展使我们更接近于解决鸡尾酒会问题。然而，在这方面的大多数研究使用一个受约束的问题设置，比较性能时，扬声器几乎完全重叠，在人为的低采样率，并没有外部背景噪声。在本文中，我们努力将该领域推向更现实和更具挑战性的场景。为此，我们创建了WSJ 0 Hipster Ambient Mixtures（WHAM！）数据集，由来自wsj 0 - 2 mix数据集的两个扬声器混合物与真实环境噪声样本组合而成。这些样本是在旧金山湾区的咖啡店、餐馆和酒吧收集的，并公开提供。我们对各种语音分离架构和目标函数进行基准测试，以评估其对噪声的鲁棒性。虽然分离性能由于噪声而降低，但对于大多数方法，我们仍然观察到相对于噪声信号的实质性增益。
2019-07-02 cs.CL cs.LG cs.SD
Multi-Microphone Speaker Separation by Spatial Regions
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
我们考虑的任务，基于区域的混响多麦克风录音的源分离。我们假设预定义的空间区域，每个区域具有单个活动源。目标是估计来自参考麦克风捕获的各个空间区域的信号，同时保持信号和空间区域之间的对应关系。我们提出了一种数据驱动的方法，使用修改后的版本的最先进的网络，其中不同的层模型的空间和光谱时间信息。该网络被训练为强制执行区域到网络输出的固定映射。使用LibriMix的语音，我们构建了一个专门设计用于包含区域信息的数据集。此外，我们训练的网络与置换不变的训练。我们表明，这两种训练方法都能将区域映射到网络输出，实现相当的性能，并且网络利用了空间信息。所提出的网络优于基线网络的1.5 dB的尺度不变的信号失真比。
2023-03-13 cs.LG cs.SD eess.AS
Improving Target Speaker Extraction with Sparse LDA-transformed Speaker Embeddings
Huawei Technologies Co., Ltd.（华为技术有限公司）；AI Application Research Center（人工智能应用研究中心）
作为语音分离的一种实用方法，目标说话人提取（TSE）的目的是利用从说话人中提取的附加说话人线索从期望的说话人中提取语音。它的主要挑战在于如何正确地提取和利用说话人线索，以利于提取的语音质量。现有的大多数TSE研究所采用的线索提取方法是直接利用区分性说话人嵌入，这是从预先训练的模型中提取的用于说话人确认。虽然高的说话人区分度是一个最理想的属性的说话人确认任务，我们认为，这可能是太复杂的TSE。在这项研究中，我们建议，一个简化的扬声器提示，明确的类可分性可能是首选TSE。为了验证我们的建议，我们介绍了几种形式的扬声器线索，包括朴素的扬声器嵌入（如，x-向量和xi-向量）和新的扬声器嵌入产生的稀疏LDA变换。将这些说话人线索与SOTA语音分离模型SepFormer相结合，建立了相应的TSE模型。这些TSE模型的性能在基准WSJ 0 - 2 mix数据集上进行了检查。实验结果验证了我们的建议的有效性和通用性，显示高达9.9%的相对改善SI-SDRi。此外，SI-SDRi为19.4 dB，PESQ为3.78，我们最好的TSE系统明显优于当前的SOTA系统，并提供了迄今为止在WSJ 0 - 2 mix上报告的最佳TSE结果。
2023-01-16 cs.AI cs.LG cs.SD
Multi-channel Speech Separation Using Spatially Selective Deep Non-linear Filters
Universität Hamburg（汉堡大学）
本文提出一种基于DNN的空间选择性滤波器（SSF），通过目标方向初始化RNN层实现空间导向以提取目标说话人，在多说话人及未见噪声场景下优于DS方法。
2023-11-21 cs.LG cs.SD eess.AS
Analysis of impact of emotions on target speech extraction and speech separation
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
近年来，语音盲分离和目标语音提取的性能有了很大的提高。然而，大多数工作集中在相对良好控制的条件下，例如，读演讲稿。在更现实的情况下，性能可能会降低。造成这种退化的因素之一可能是固有的扬声器可变性，如情绪，通常发生在现实的语音。在本文中，我们研究情绪对TSE和BSS的影响。我们创建了一个新的测试数据集的情绪混合物的评估TSE和BSS。该数据集结合了LibriSpeech和Ryerson情感语音和歌曲视听数据库（RAVDESS）。通过控制实验，分析不同情绪对BSS和TSE绩效的影响。我们观察到，BSS是相对强大的情绪，而TSE，它需要识别和提取的语音的目标扬声器，是更敏感的情绪。在比较说话人确认实验中，我们发现，识别目标说话人可能是特别具有挑战性的处理情感的语音。利用我们的研究结果，我们概述了未来可能的方向，可以提高BSS和TSE系统对情感语音的鲁棒性。
2022-08-15 cs.LG cs.SD eess.AS
Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios
Signal Processing (SP), University of Hamburg, Germany（信号处理系，汉堡大学）
本文提出一种自适应旋转定向联合自回归框架，通过引入处理后的录音作为指导，提高动态场景中紧密移动说话人跟踪和增强效果。
2026-01-21 cs.LG cs.SD eess.AS
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI（亚马逊AWS人工智能）
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练（PIT），因此分离的语音块的顺序是不确定的，并且导致难以准确地拼接同质说话者块用于下游任务，如自动语音识别（ASR）。此外，大多数这些模型都是用合成混合物训练的，不能推广到真实的会话数据。在本文中，我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序，而不需要额外的拼接步骤。我们还介绍了一个数据采样策略，真正的和合成的混合物，以及推广到真正的对话语音。有了这个模型和数据采样技术，我们在Hub 5数据上显示了说话者归因的单词错误率（SA-WER）的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning
Xi'an Jiaotong University（西安交通大学）；Du Xiaoman（度小满）
Transformer在语音分离方面表现出了先进的性能，这得益于其捕获全局特征的能力。然而，在语音分离中，获取音频序列的局部特征和声道信息同样重要。在本文中，我们提出了一种新的方法命名为内SE-Conformer和Inter-Transformer（ISCIT）的语音分离。具体来说，我们设计了一种新的网络SE-Conformer，可以在多个维度和尺度上对音频序列进行建模，并将其应用于双路径语音分离框架。此外，我们提出了多块特征聚合，以提高分离效果，有选择地利用信息的中间块的分离网络。同时，我们提出了一个说话人相似性判别损失来优化语音分离模型，以解决当说话人具有相似的声音时性能较差的问题。在基准数据集WSJ 0 - 2 mix和WHAM！显示ISCIT可以实现最先进结果。
2023-03-07 cs.LG cs.SD eess.AS
Deep Variational Generative Models for Audio-visual Speech Separation
Inria Nancy Grand-Est（法国国家信息与自动化研究所南锡-大东部分所）
在本文中，我们感兴趣的视听语音分离给定的单通道音频记录以及与每个扬声器相关的视觉信息（嘴唇运动）。我们提出了一个无监督的技术的基础上视听生成模型的干净的语音。更具体地，在训练期间，使用变分自动编码器（VAE）从干净的语音频谱图学习潜变量生成模型。为了更好地利用视觉信息，潜变量的后验是从混合语音（而不是干净的语音）以及视觉数据中推断出来的。视觉模态也通过视觉网络作为潜在变量的先验。在测试时，学习的生成模型（用于说话者无关和说话者相关场景）与用于背景噪声的无监督非负矩阵分解（NMF）方差模型相结合。所有的潜变量和噪声参数，然后估计的蒙特卡罗期望最大化算法。我们的实验表明，所提出的基于无监督VAE的方法比基于NMF的方法以及基于监督深度学习的技术具有更好的分离性能。
2021-08-31 cs.LG cs.SD eess.AS
Disentangling the Impacts of Language and Channel Variability on Speech Separation Networks
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
由于语音分离的性能非常好，其中两个说话人完全重叠的语音，研究的重点已经转移到处理更现实的情况。然而，由于诸如说话人、内容、通道和环境等因素，训练/测试情况之间的域失配仍然是语音分离的严重问题。已有文献对说话人和环境失配进行了研究。然而，关于语音内容和通道失配的研究却很少。此外，这些研究中的语言和渠道的影响大多是纠结的。在这项研究中，我们为各种实验创建了几个数据集。结果表明，与不同渠道的影响相比，不同语言的影响很小，可以忽略不计。在我们的实验中，对Android手机记录的数据进行训练可以获得最佳的泛化能力。此外，我们提供了一个新的解决方案，通道失配评估投影，其中的通道相似性可以测量和使用，以有效地选择额外的训练数据，以提高在野外测试数据的性能。
2022-06-20 cs.CL cs.LG cs.MM
Multi-Channel Multi-Speaker ASR Using 3D Spatial Feature
Tencent AI Lab（腾讯人工智能实验室）
多通道多说话人重叠语音的自动语音识别一直是语音学界最具挑战性的课题之一。在本文中，我们期待这一挑战，利用目标说话人在三维空间中的位置信息的第一次。为了探索提出的3D空间特征的强度，研究了两种范式。1)流水线系统，其具有多通道语音分离模块，随后是最先进的单通道ASR模块; 2）“一体化”模型，其中3D空间特征直接用作ASR系统的输入，而没有显式分离模块。它们都是完全可微的，可以端到端反向传播。我们在模拟重叠语音和真实录音上测试它们。实验结果表明：1）所提出的ALL-In-One模型实现了与流水线系统相当的出错率，同时减少了一半的推理时间; 2）所提出的3D空间特征显著优于（31% CERR）所有先前在两种范例中使用1D方向信息的工作。
2021-11-22 cs.CL cs.HC cs.LG
