Context-Aware Two-Step Training Scheme for Domain Invariant Speech Separation
针对语音分离模型跨域性能下降问题，提出由上下文提取器和分离器组成的上下文感知两阶段训练方案，并通过跨域实验证明其无需适配即可提升分离质量。
2025-03-16 cs.SD eess.AS
Remix-cycle-consistent Learning on Adversarially Learned Separator for Accurate and Stable Unsupervised Speech Separation
Waseda University（早稻田大学）
设计了一种新的语音分离网络学习算法，以无监督的方式显式地减少分离信号中的残留噪声和伪影。生成对抗网络是已知的有效构建分离网络时，观察到的信号的地面真相是不可访问的。尽管如此，针对分布到分布映射的弱目标使得学习不稳定并限制了它们的性能。本研究引入了混音周期一致性损失作为一个更合适的目标函数，并使用它来微调对抗学习源分离模型。混音周期一致性损失被定义为在麦克风处观察到的混合语音与通过交替分离混合声音并将其输出与另一组合进行混音的过程而获得的伪混合语音之间的差异。这种损失的最小化导致分离网络的输出中的失真的显式减少。与多通道语音分离的实验比较表明，该方法具有较高的分离精度和学习稳定性，可与监督学习相媲美。
2022-03-26 cs.SD eess.AS
Heterogeneous Separation Consistency Training for Adaptation of Unsupervised Speech Separation
Shanghai Normal University（上海师范大学）
近年来，有监督语音分离技术取得了很大的进展。然而，受监督训练性质的限制，大多数现有的分离方法都需要地面实况源，并且是在合成数据集上训练的。这种地面实况的依赖是有问题的，因为地面实况信号通常在真实条件下不可用。此外，在许多行业场景中，真实的声学特性与模拟数据集中的声学特性相差甚远。因此，当将有监督语音分离模型应用于实际应用时，其性能通常会显著下降。为了解决这些问题，在这项研究中，我们提出了一种新的分离一致性训练，称为SCT，利用现实世界的未标记的混合物，以迭代的方式改善跨域无监督语音分离，通过利用从异构（结构不同，但行为互补）模型获得的互补信息。SCT遵循一个框架，使用两个异构神经网络（HNN），以产生高置信度的伪标签的未标记的真实语音混合。然后更新这些标签，并用于改进HNN，以产生更可靠的一致分离结果，用于真实混合伪标记。为了最大限度地利用不同分离网络之间的大量互补信息，进一步提出了跨知识自适应。与模拟数据集一起，这些具有高置信度伪标签的真实混合物然后用于迭代地更新HNN分离模型。此外，我们发现通过简单的线性融合来组合异质分离输出可以进一步略微改善最终系统性能。
2022-08-06 cs.SD eess.AS
Multichannel Speech Separation with Narrow-band Conformer
Westlake University（西湖大学）
提出了一种基于窄带Conformer的多通道语音分离方法。该网络经过训练，可以自动利用窄带语音分离信息，例如多个说话者的空间矢量聚类。具体而言，在短时傅立叶变换（STFT）域中，网络独立地处理每个频率，并且由所有频率共享。对于一个频率，该网络输入多通道混合信号的STFT系数，并预测分离的语音信号的STFT系数。空间向量的聚类与自注意力机制在计算向量的相似性然后聚集相似向量的意义上共享类似的原理。因此，Conformer将特别适合于当前的问题。实验结果表明，所提出的窄带Conformer实现了更好的语音分离性能比其他国家的最先进的方法，由一个大的利润。
2022-07-01 cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Dual-Path Transformer Network: Direct Context-Aware Modeling for End-to-End Monaural Speech Separation
Jiangsu University（江苏大学）；Jiangsu Engineering Research Center of big data ubiquitous perception and intelligent agriculture applications（江苏省大数据泛在感知与智能农业应用工程研究中心）
主要的语音分离模型是基于复杂的递归或卷积神经网络，其对语音序列进行建模，间接地以上下文为条件，例如通过递归神经网络中的许多中间状态传递信息，从而导致次优分离性能。在本文中，我们提出了一个双路Transformer网络（DPTNet）的端到端的语音分离，它引入了直接的上下文感知的语音序列的建模。通过引入一种改进的Transformer，语音序列中的元素可以直接交互，这使得DPTNet可以对语音序列进行直接的上下文感知建模。改进的Transformer在我们的方法中学习的顺序信息的语音序列的位置编码，通过将一个递归神经网络到原来的Transformer。此外，双路径的结构，使我们的模型非常长的语音序列建模的效率。在基准数据集上进行的大量实验表明，我们的方法优于当前最先进的方法（在公共WSj 0 - 2 mix数据语料库上为20.6 dB SDR）。
2020-08-14 cs.SD eess.AS
Training Noisy Single-Channel Speech Separation With Noisy Oracle Sources: A Large Gap and A Small Step
The Johns Hopkins University（约翰斯·霍普金斯大学）；Chinese Academy of Sciences（中国科学院）
随着单通道语音分离系统性能的提高，人们希望能够在比开发初始系统时所使用的干净近场语音更具挑战性的条件下进行训练。在训练深度学习分离模型时，需要对地面实况进行训练。因此，在嘈杂条件下的训练需要使用合成添加到干净语音的噪声，防止将域内数据用于嘈杂条件任务，或者使用嘈杂语音的混合物进行训练，需要网络额外分离噪声。我们证明了噪声的相对不可分割性，这种嘈杂的语音模式导致系统性能的显着下降。我们还提出了一个受SI-SDR启发的训练目标，该目标试图利用噪声的不可分离性来隐式地划分信号并折扣噪声分离错误，从而能够训练具有噪声Oracle源的更好的分离系统。
2021-02-22 cs.SD eess.AS
Analysis of Speech Separation Performance Degradation on Emotional Speech Mixtures
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
本文分析了情感语音对语音分离模型性能退化的影响，发现即使域外性能强的Sepformer在强情感混合物上仍退化高达5.1 dB SI-SDRi，强调了真实应用中考虑情感的必要性。
2023-09-14 cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
EDSep: An Effective Diffusion-Based Method for Speech Source Separation
Jiangsu University（江苏大学）；Northwestern Polytechnical University（西北工业大学）
提出基于SDE得分匹配的单通道语音分离方法EDSep，通过新型去噪器函数和随机采样器优化训练与采样效率，在多个数据集上性能优于现有扩散和判别模型。
2025-01-27 cs.SD eess.AS
Separating Long-Form Speech with Group-Wise Permutation Invariant Training
Microsoft（微软）
多人会话语音处理在会议记录等应用中引起了广泛的关注。通常需要语音分离来处理在对话中经常观察到的重叠语音。虽然原始的基于话语级置换不变训练的连续语音分离方法已被证明在各种条件下都是有效的，但它缺乏利用话语的长跨度关系的能力，并且由于高度重叠的滑动窗口而计算效率低下。为了克服这些缺点，我们提出了一种新的训练方案，名为Group-PIT，它允许直接训练的语音分离模型的长形式的语音与低计算成本的标签分配。研究了两种不同的基于Group-PIT的语音分离方法，包括直接的长跨度语音分离和基于长跨度跟踪的短跨度语音分离。在模拟会议类型数据上的实验表明了本文方法的有效性，特别是在处理超长语音输入时。
2021-11-17 cs.SD eess.AS
Speaker Separation Using Speaker Inventories and Estimated Speech
The Ohio State University（俄亥俄州立大学）；Microsoft（微软）
我们提出了扬声器分离使用扬声器库存和估计的语音（SSUSIES），一个框架，利用扬声器配置文件和估计的语音扬声器分离。SSUSIES包含两种方法，说话人分离使用说话人清单（SSUSI）和说话人分离使用估计语音（SSUES）。SSUSI在说话人清单的帮助下执行说话人分离。通过结合置换不变训练（PIT）和语音提取的优点，SSUSI显着优于传统的方法。SSUES是一种广泛应用的技术，它可以使用第一遍分离的输出来显著改善扬声器分离性能。我们评估模型的说话人分离和语音识别指标。
2020-10-20 cs.CL cs.SD eess.AS
A Computationally Efficient and Practically Feasible Two Microphones Blind Speech Separation Method
传统上，盲语音分离技术在计算上是昂贵的，因为它们在每个时间帧索引处更新去混合矩阵，使得它们在许多实时应用中不切实际。本文采用一种稳健的数据驱动双麦克风声源定位方法作为准则，以降低独立向量分析（IVA）盲语音分离（BSS）方法的计算复杂性。IVA用于分离卷积混合的语音和噪声源。通过在智能手机设备上实现该方法来分离助听器应用中真实场景中的语音和噪声，证明了该方法的实际可行性。客观和主观测试的实验结果表明，开发的方法在许多现实世界的应用中的实际可用性。
2018-12-10 cs.SD eess.AS
Neural Spatio-Temporal Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
基于神经网络的语音分离和增强方法虽然能取得较好的客观效果，但不可避免地会产生非线性语音失真，这对自动语音识别（ASR）是有害的。另一方面，最小方差无失真响应（MVDR）波束形成器与NN预测的面具，虽然可以显着减少语音失真，具有有限的降噪能力。在本文中，我们提出了一个多抽头MVDR波束形成器与复值掩模语音分离和增强。与现有技术的基于NN掩模的MVDR波束形成器相比，除了现有技术中已经利用的麦克风间相关性之外，多抽头MVDR波束形成器还利用帧间相关性。进一步的改进包括用复值掩码替换实值掩码和复掩码NN的联合训练。对我们的多模态多通道目标语音分离和增强平台的评估表明，我们提出的多抽头MVDR波束形成器相对于现有技术提高了ASR准确性和感知语音质量。
2020-07-31 cs.SD eess.AS
Investigation of Practical Aspects of Single Channel Speech Separation for ASR
Microsoft Corporation（微软公司）；Harbin Institute of Technology（哈尔滨工业大学）
语音分离由于其处理重叠语音的能力以及其与诸如自动语音识别（ASR）的下游任务相结合的灵活性而被成功地用作会话转录系统的前端处理模块。然而，语音分离模型经常引入目标语音失真，导致次优的字错误率（WER）。在本文中，我们描述了我们的努力，以提高单通道语音分离系统的性能。具体来说，我们调查了一个两阶段的训练计划，首先适用于预训练的特征级优化标准，其次是一个面向ASR的优化标准，使用端到端（E2E）语音识别模型。同时，为了保持模型的轻量级，我们引入了一种改进的师生学习技术来压缩模型。通过结合这些方法，与LibriCSS数据集上先前的最先进结果相比，我们使用小于10M参数的模型分别实现了2.70%和0.77%的绝对平均WER改进，用于话语评估和连续评估
2021-07-05 cs.SD eess.AS
Multi-accent Speech Separation with One Shot Learning
National Taiwan University（国立台湾大学）
语音分离是近年来语音处理领域研究的热点问题。然而，还没有太多的工作研究多口音语音分离的情况。未知说话人的新口音和噪声引起的域失配问题，不能很容易地解决传统的联合训练方法。因此，我们应用MAML和FOMAML来解决这个问题，并在几乎所有看不见的口音上获得了比联合训练更高的平均Si-SNRi值。这证明了这两种方法确实有能力生成经过良好训练的参数，以适应新说话人和口音的语音混合。此外，我们发现，FOMAML获得类似的性能相比，MAML，同时节省了大量的时间。
2021-08-05 cs.SD eess.AS
WHAMR!: Noisy and Reverberant Single-Channel Speech Separation
MERL（三菱电机研究实验室）
虽然在重叠语音信号的分离方面已经取得了重大进展，但研究在很大程度上限于干净的、接近消声的语音的混合，而不是许多真实世界场景的代表。虽然WHAM！数据集将噪声引入到无处不在的WSJ 0 - 2 Mix数据集，它不包括混响，混响通常存在于录音室外的室内录音中。混响引起的频谱拖尾可能导致标准的基于深度学习的语音分离系统的显著性能下降，该系统依赖于频谱结构和语音信号的稀疏性来梳理分离源。为了解决这个问题，我们推出了WHAMR！，一个增强版的WHAM！与合成混响源，并提供了一个彻底的基线分析，目前的技术，以及新的级联架构的新引进的条件。
2020-02-14 cs.SD eess.AS
Onssen: an open-source speech separation and enhancement library
City University of New York（纽约城市大学）
语音分离是多说话人语音识别的一项重要任务。最近提出了许多深度学习方法，并不断刷新最先进的性能。算法实现的缺乏限制了研究人员使用相同的数据集进行比较。构建一个通用平台可以使研究人员受益，因为它可以轻松地实现新的分离算法，并将其与定制数据集上的现有算法进行比较。我们介绍“onssen”：一个开源的语音分离和增强库。Onssen是一个主要用于深度学习分离和增强算法的库。它使用LibRosa和NumPy库进行特征提取，PyTorch作为模型训练的后端。onssen支持大多数基于时频掩码的分离算法（例如，深度聚类、chimera net、chimera++等），也支持自定义数据集。在本文中，我们描述了Onssen模块的功能，并显示Onssen实现的算法达到了与原始论文中报告的相同的性能。
2019-11-03 cs.SD eess.AS
SkiM: Skipping Memory LSTM for Low-Latency Real-Time Continuous Speech Separation
Shanghai Jiao Tong University（上海交通大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院-北京（SRC-B））
用于会议预处理的连续语音分离是近年来的研究热点。与话语级语音分离中的数据相比，会议式音频流持续时间更长，说话人数量不确定。我们采用时域语音分离方法和最近提出的Graph-PIT，建立一个超低延迟的在线语音分离模型，这是非常重要的实际应用。具有小步幅的低延迟时域编码器导致极长的特征序列。提出了一种简单而有效的长序列建模模型Skipping Memory（SkiM）。实验结果表明，SkiM的分离性能与DPRNN相当，甚至更好.同时，SkiM的计算成本比DPRNN减少了75%。SkiM强大的长序列建模能力和较低的计算成本使其成为在线CSS应用程序的合适模型。我们最快的实时模型在模拟会议式评估中获得了17.1 dB的信号失真比（SDR）改善，延迟不到1毫秒。
2022-02-10 cs.SD eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一个新的框架，共同执行三个任务：说话人日记，语音分离，说话人计数。我们提出的框架集成了基于端到端神经日记化（EEND）模型的说话人日记化，基于编码器-解码器的吸引子（EDA）的说话人计数，以及使用Conv-TasNet的语音分离。此外，我们提出了一个多个1x 1卷积层架构，用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术，用于细化分离的语音信号与获得的扬声器diarization信息，以改善联合框架。使用LibriMix数据集的实验表明，我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线，并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
3D Neural Beamforming for Multi-channel Speech Separation Against Location Uncertainty
Tencent AI Lab（腾讯人工智能实验室）
利用说话人的方向信息进行多通道语音分离，比盲语音分离有明显的优势。然而，它有两个局限性。首先，当两个声音的到来方向接近时，观察到实质性的性能下降。第二，结果高度依赖于说话人方向的精确估计。为了克服这些问题，本文提出了3D功能和相关的3D神经波束形成器的多通道语音分离。以前在这方面的工作是在两个重要的方向延伸。首先，将传统的1D定向波束方向图推广到3D。这使得模型能够从3D空间中的任何目标区域提取语音。因此，具有相似方向但不同高度或距离的扬声器变得可分离。其次，为了处理说话人位置的不确定性，以前提出的空间特征扩展到一个新的三维区域特征。提出的3D区域特征和3D神经波束形成器在车内场景下进行评估。实验结果表明，三维特征和三维波束形成器的组合可以实现与地面真实说话人位置作为输入的分离模型相当的性能。
2023-02-27 cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University（哥伦比亚大学）
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出，因此丢弃了空间声源定位所需的空间线索。然而，保留空间信息在许多旨在准确呈现声学场景的应用中是重要的，例如在助听器和增强现实（AR）中。在这里，我们提出了一种语音分离算法，保留分离的声源的耳间线索，可以实现低延迟和高保真度，因此能够实时修改的声学场景。基于时域音频分离网络（TasNet），一个单通道时域语音分离系统，可以在实时实现，我们提出了一个多输入多输出（MIMO）端到端的TasNet扩展，以双耳混合音频作为输入，同时分离目标扬声器在两个通道。实验结果表明，所提出的端到端MIMO系统能够显著提高分离性能，并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
Continuous Speech Separation with Recurrent Selective Attention Network
Microsoft（微软）
虽然基于排列不变训练（PIT）的连续语音分离（CSS）显著提高了会话转录的准确性，但由于其具有固定数量的输出通道，因此其经常遭受语音泄漏和在“热点”区域分离失败。在本文中，我们提出了适用于循环选择性注意网络（RSAN）的CSS，它产生一个可变数量的输出通道的基础上积极发言人计数。此外，我们提出了一种新的块式依赖扩展的RSAN通过在CSS框架中相邻的处理块之间引入依赖关系。它使网络能够利用先前块的分离结果来促进当前块的处理。LibriCSS数据集上的实验结果表明，基于RSAN的CSS（RSAN-CSS）网络一致地提高了基于PIT的模型的语音识别准确性。所提出的分块依赖建模进一步提高了RSAN-CSS的性能。
2021-10-28 cs.SD eess.AS
On The Compensation Between Magnitude and Phase in Speech Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
基于深度神经网络（DNN）的复时频（T-F）域或时域中的端到端优化在单声道语音分离中显示出相当大的潜力。许多最近的研究优化损失函数定义的时间或复杂的域，而不包括损失的幅度。虽然如果评估度量是客观时域度量，则这样的损失函数通常产生更好的分数，但是与包括幅度损失相比，它们产生关于语音质量和可懂度度量的更差的分数，并且通常导致更差的语音识别性能。虽然这种现象已经被许多研究实验观察到，但它往往没有得到准确的解释，并且对其根本原因缺乏透彻的了解。本文从估计幅度和估计相位之间的隐式补偿的角度提供了一种新的观点。分析结果的基础上单声道语音分离和鲁棒自动语音识别（ASR）的任务在嘈杂的混响条件下支持我们的观点的有效性。
2021-09-27 cs.SD eess.AS
Cross-Talk Speech Reduction, by Separation, for Separation
Department of Computer Science and Engineering（计算机科学与工程系）；Southern University of Science and Technology（南方科技大学）；Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种旨在从近场混合信号中分离说话人语音的交叉talk消除任务，并提出了一种名为CTRnet的新型方法，可以直接在真实录制的近场和远场混合信号对上训练以完成CTR。基于CTRnet，进一步提出基于伪标签的远场语音分离（PuLSS），利用CTRnet估计的干净语音作为伪标签来训练分离远场混合信号的模型。该框架的主要优势是CTRnet和PuLSS都可以在目标域的真实数据上进行训练，解决了模型仅在模拟数据上训练时通常观察到的泛化差距。在CHiME-6数据集上，该框架在Oracle和估计说话人分离条件下实现了最先进的ASR性能，超过了所有CHiME-{7,8}挑战提交。据我们所知，这是首个在真实对话“语音在野外”数据上显著优于引导源分离的神经语音分离方法。
2026-05-19 cs.SD eess.AS
Tiny-Sepformer: A Tiny Time-Domain Transformer Network for Speech Separation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Aquinas International Academy（阿奎纳斯国际学院）
时域Transformer神经网络在语音分离任务中已经证明了其优越性。然而，这些模型通常具有大量的网络参数，因此经常遇到GPU内存爆炸的问题。在本文中，我们提出了Tiny-Sepformer，一个小型版本的Transformer网络的语音分离。我们提出了两种技术来减少模型参数和内存消耗：（1）卷积注意（CA）块，分裂的香草Transformer到两个路径，多头注意力和1D dependency可分离卷积，（2）参数共享，共享CA块内的层参数。在我们的实验中，Tiny-Sepformer可以大大减小模型大小，并在WSJ 0 -2/3 Mix数据集上实现与vanilla Sepformer相当的分离性能。
2022-06-30 cs.SD eess.AS
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
Unsupervised Single-Channel Speech Separation with Diffusion under Speaker-Embedding Guidance
Institute of Science Tokyo（东京科学研究所）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）
该研究针对无监督单通道语音分离问题，提出说话人嵌入引导与分离导向求解器，提升了基于源模型的无监督语音分离性能。
2026-08-03 cs.SD eess.AS
Mixed Precision DNN Qunatization for Overlapped Speech Separation and Recognition
Tencent AI lab（腾讯AI实验室）
重叠语音的识别一直是一个极具挑战性的任务。多通道语音分离系统在实际应用中变得越来越复杂和昂贵。为此，低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。然而，目前的量化方法是基于统一的精度，并没有考虑到不同的模型组件的量化误差的变化的性能灵敏度。本文提出了一种新的混合精度DNN量化方法，通过将局部可变位宽应用于基于TF掩蔽的多通道语音分离系统的各个TCN分量。使用三种技术自动学习最佳局部精度设置。前两种方法利用基于均方误差（MSE）损失函数曲率或在全精度和量化分离模型之间测量的KL发散的量化灵敏度度量。第三种方法是基于混合精度神经结构搜索。LRS 3-TED语料库模拟重叠语音数据上进行的实验表明，所提出的混合精度量化技术始终优于可比位宽的均匀精度基线语音分离系统的SI-SNR和PESQ分数，以及字出错率（WER）减少高达2.88%的绝对（8%相对）。
2021-11-29 cs.SD eess.AS
Efficient Integration of Multi-channel Information for Speaker-independent Speech Separation
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；InstaDeep
尽管基于深度学习的方法在过去几年中显著提高了语音分离的性能，但如何整合多通道信号进行语音分离仍然是一个悬而未决的问题。本文提出了两种基于时域音频分离网络的多通道信息融合方法，即早期融合和后期融合方法，该方法在单通道语音分离中已被证明是有效的。我们还提出了通道顺序迁移学习，这是一种迁移学习框架，它将为低通道网络训练的参数作为高通道网络的初始值。为了公平比较，我们使用开源的wsj 0 - 2 mix数据集的空间化版本评估了我们提出的方法。结果发现，我们提出的方法可以优于多通道深度聚类，并与麦克风数量成比例地提高性能。实验还证明，无论扬声器之间的角度差如何，后期融合方法的性能始终高于单通道方法。
2020-08-11 cs.SD eess.AS
Unifying Speech Enhancement and Separation with Gradient Modulation for End-to-End Noise-Robust Speech Separation
Nanyang Technological University（南洋理工大学）；Hunan University（湖南大学）
近年来，基于神经网络的单声道语音分离研究取得了令人瞩目的成功，这得益于长序列建模能力的提高。然而，当置于现实的噪声条件下时，它们会显着降低，因为背景噪声可能被误认为是说话人的语音，从而干扰分离的源。为了缓解这个问题，我们提出了一种新的网络，统一语音增强和分离与梯度调制，以提高噪声鲁棒性。具体来说，我们首先建立一个统一的网络，结合语音增强（SE）和分离模块，多任务学习优化，其中SE是监督并行清洁混合，以减少下游语音分离的噪声。此外，为了避免抑制有效的说话人信息时，降低噪声，我们提出了一种梯度调制（GM）策略，以协调SE和SS任务从优化的角度。实验结果表明，我们的方法在大规模Libri 2 Mix和Libri 3 Mix噪声数据集上达到了最先进的水平，SI-SNRi结果分别为16.0 dB和15.8 dB。我们的代码可以在GitHub上找到。
2023-02-22 cs.LG cs.SD eess.AS
Multimodal Target Speech Separation with Voice and Face References
University of Hamburg（汉堡大学）
目标语音分离是指通过条件化有关目标说话人的辅助信息，从多说话人混合信号中分离出目标语音。不同于主流的视听方法，通常需要同时的视觉流作为额外的输入，例如相应的嘴唇运动序列，在我们的方法中，我们提出了一种新的使用目标扬声器的一个单一的面部轮廓，以分离预期的干净的语音。我们利用的事实是，一张脸的图像包含有关人的语音的信息。与使用同步视觉序列相比，面部图像更容易通过预注册或在网站上获得，这使得系统能够推广到没有摄像头的设备。为此，我们将从用于人脸识别的预训练模型中提取的人脸嵌入到语音分离中，从而指导系统在时频域中预测目标说话人掩码。实验结果表明，预注册的人脸图像能够有利于分离预期的语音信号。此外，人脸信息是语音参考的补充，我们表明，当结合人脸和语音嵌入时，可以实现进一步的改进。
2020-05-17 cs.SD eess.AS
Speech Separation Based on Multi-Stage Elaborated Dual-Path Deep BiLSTM with Auxiliary Identity Loss
Fujitsu Research and Development Center（富士通研发中心）；Harbin Institute of Technology（哈尔滨工业大学）
具有双路径双向长短期记忆（BiLSTM）块的深度神经网络已被证明在序列建模中非常有效，特别是在语音分离中。这项工作研究了如何扩展双路径BiLSTM，以产生一种新的最先进的方法，称为TasTas，用于多说话者单声道语音分离（也称为鸡尾酒会问题）。TasTas介绍了两个简单但有效的改进，一个是迭代的多级细化方案，另一个是通过分离语音和原始语音之间的说话人身份一致性损失来校正具有不完美分离的语音，以提高基于双路径BiLSTM的网络的性能。TasTas将两个说话者的混合话语映射为两个单独的话语，其中每个话语仅包含一个说话者的声音。在WSJ 0 - 2 mix数据集上的实验结果表明，该网络在说话人分离方面有较大的性能提升，SDR提高了20.55dB，SI-SDR提高了20.35dB，PESQ提高了3.69，ESTOI提高了94.86%.我们在这里开源了我们对DPRNN-TasNet的重新实现（https：//github.com/Shiziqiang/dual-path-RNNs-DPRNNs-based-speech-separation），我们的TasTas是基于DPRNN-TasNet的这个实现的，相信本文的结果可以很容易地复制。
2020-08-06 cs.SD eess.AS
Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in High-order Latent Domain
Harbin Institute of Technology at Shenzhen（深圳哈尔滨工业大学）；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））
单通道语音分离的关键是如何将混合信号编码到一个隐嵌入空间中，以使来自不同说话人的信号能够被精确分离。现有的语音分离方法要么将语音信号变换到频域进行分离，要么通过构造基于卷积滤波器的潜在域来学习可分离的嵌入空间。虽然后一种学习嵌入空间的方法实现了语音分离的实质性改进，但我们认为，仅由一个潜在域定义的嵌入空间不足以为语音分离提供完全可分离的编码空间。在本文中，我们提出了逐步细化语音分离网络（SRSSN），它遵循一个由粗到细的分离框架。它首先学习1阶潜在域来定义编码空间，从而在粗阶段执行粗分离。然后，建议SRSSN学习一个新的潜在域沿每个基函数的现有的潜在域，以获得一个高阶的潜在域在细化阶段，这使得我们的模型进行细化分离，以实现更精确的语音分离。我们通过进行广泛的实验来证明我们的SRSSN的有效性，包括在WSJ 0 -2/3 mix数据集上的干净（无噪声）设置中的语音分离以及在WHAM！/哇！数据集。此外，我们也利用我们的模型对分离后的语音信号进行语音识别实验，以间接评估语音分离的效能。
2022-01-31 cs.LG cs.SD eess.AS
Unsupervised Training for Deep Speech Source Separation with Kullback-Leibler Divergence Based Probabilistic Loss Function
LINE Corporation（LINE公司）
在本文中，我们提出了一种使用深度神经网络（DNN）的多通道语音源分离，该网络在没有干净信号的情况下进行训练。作为一个干净的信号的替代方案，所提出的方法采用一个无监督的语音源分离与统计模型的估计语音信号。作为麦克风输入信号的统计模型，我们采用时变空间协方差矩阵（SCM）模型，其中包括混响和背景噪声的子模型，以实现对混响和背景噪声的鲁棒性。DNN推断构造时变SCM所需的中间变量。语音源分离是以概率的方式进行的，以避免过拟合分离误差。由于存在多个中间变量，因此评估单个中间变量的损失函数不适用。相反，所提出的方法采用损失函数直接基于Kullback-Leibler散度（KLD）评估输出概率信号。损失函数的梯度可以通过所有中间变量反向传播到DNN中。混响条件下的实验结果表明，该方法可以有效地训练DNN，即使当训练话语的数量很小时，即，一千
2019-11-11 cs.SD eess.AS
Attractor-Based Speech Separation of Multiple Utterances by Unknown Number of Speakers
Tampere University（塔尔皮奥大学）；Nokia Technologies（诺基亚技术）
本文提出一种基于吸引子的单通道语音分离模型，能同时分离、估计未知说话人数并检测活动，在多话语场景下优于现有方法。
2025-05-22 cs.SD eess.AS
Localization Based Sequential Grouping for Continuous Speech Separation
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；The Ohio State University（俄亥俄州立大学）
本文研究了连续语音分离和说话人日志化的鲁棒说话人定位方法，即利用说话人方向对同一说话人的非连续段进行分组。假设说话人不移动，并位于不同的方向，到达方向（DOA）的信息提供了一个准确的顺序分组和说话人日记的信息线索。我们的系统在以下意义上是块在线的。给定一个最多有两个说话人的帧块，我们应用两个说话人分离模型来分离（和增强）说话人，估计每个分离的说话人的DOA，并根据DOA估计将分离结果分组到块中。在LibriCSS语料库上的说话人日志化和说话人属性语音识别结果验证了该算法的有效性。
2021-07-14 cs.SD eess.AS
A Multi-Stage Triple-Path Method for Speech Separation in Noisy and Reverberant Environments
Xi'an Jiaotong University（西安交通大学）；Du Xiaoman（度小满）
在嘈杂和混响的环境中，基于深度学习的语音分离方法的性能急剧下降，因为以前的方法没有针对这种情况进行设计和优化。为了解决这个问题，我们提出了一种多阶段的端到端学习方法，将噪声和混响环境中的语音分离问题分为三个子问题：语音去噪，分离和去混响。通过缩小解空间，提高了语音分离模型搜索最优解的概率和速度。此外，由于在时域中的音频序列的信道信息是至关重要的语音分离，我们提出了一个三路径结构，能够建模的音频序列的信道维数。实验结果表明，本文提出的多阶段三径方法可以以较小的模型参数增量为代价提高语音分离模型的性能。
2023-03-07 cs.LG cs.SD eess.AS
One Shot Learning for Speech Separation
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
尽管语音分离模型最近取得了成功，但它们在面对不同人群或嘈杂环境时无法正确分离源。为了解决这个问题，我们提出将元学习应用于语音分离任务。我们的目标是找到一个元初始化模型，它可以通过只看到这些人生成的一个混合来快速适应新的说话者。在本文中，我们使用模型不可知元学习（MAML）算法和几乎没有内部循环（ANIL）算法在Conv-TasNet来实现这一目标。实验结果表明，该模型不仅能适应新的说话人集合，而且能适应噪声环境。此外，我们发现编码器和解码器作为特征重用层，而分离器是特定于任务的模块。
2021-05-03 cs.SD eess.AS
Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning
Xi'an Jiaotong University（西安交通大学）；Du Xiaoman（度小满）
Transformer在语音分离方面表现出了先进的性能，这得益于其捕获全局特征的能力。然而，在语音分离中，获取音频序列的局部特征和声道信息同样重要。在本文中，我们提出了一种新的方法命名为内SE-Conformer和Inter-Transformer（ISCIT）的语音分离。具体来说，我们设计了一种新的网络SE-Conformer，可以在多个维度和尺度上对音频序列进行建模，并将其应用于双路径语音分离框架。此外，我们提出了多块特征聚合，以提高分离效果，有选择地利用信息的中间块的分离网络。同时，我们提出了一个说话人相似性判别损失来优化语音分离模型，以解决当说话人具有相似的声音时性能较差的问题。在基准数据集WSJ 0 - 2 mix和WHAM！显示ISCIT可以实现最先进结果。
2023-03-07 cs.LG cs.SD eess.AS
Improving Reverberant Speech Separation with Multi-stage Training and Curriculum Learning
University of Maryland, College Park（马里兰大学学院市分校）
我们提出了一种新的方法，提高混响语音分离的性能。我们的方法是基于一个准确的几何声学模拟器（GAS），产生逼真的房间脉冲响应（RIR）通过建模镜面反射和漫反射。我们还提出了三种训练方法-预训练，多阶段训练和课程学习，显着提高混响存在下的分离质量。我们还表明，在训练过程中，将合成RIR与少量真实RIR混合，可以提高分离性能。我们评估我们的方法从真实的，记录的数据（在几个不同的房间配置）从VOiCES数据集产生的混响混合。我们的新方法（课程学习+预训练+多阶段训练）与基于图像源方法（ISM）的现有技术相比有了显着的相对改善。
2021-07-19 cs.SD eess.AS
Rethinking the Separation Layers in Speech Separation Networks
Columbia University（哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）
现有语音分离网络中的模块可以分为单输入多输出（SIMO）模块和单输入单输出（SISO）模块。SIMO模块生成的输出比输入多，SISO模块保持输入和输出的数量相同。虽然大多数分离模型只包含SIMO结构，但也表明某些两级分离系统与后增强SISO模块集成可以提高分离质量。为什么通过整合SISO模块可以实现性能提升？SIMO模块是否总是必需的？在本文中，我们通过设计SIMO和SISO模块中具有不同配置的模型来实证研究这些问题。我们发现，与标准的SIMO设计相比，具有相同的模型尺寸的混合SIMO-SISO设计能够提高分离性能，特别是在低重叠条件下。我们进一步验证了SIMO模块的必要性，并表明SISO模型仍然能够在不牺牲性能的情况下执行分离。这些观察使我们能够重新思考模型设计范式，并就如何执行分离提出不同的观点。
2020-11-17 cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation（NTT（日本电报电话公司）媒体情报研究所）
提出了一种视听语音分离学习方法，该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练，纯音频损失反映了源信号与分离信号之间的距离。然而，传统的损失不能反映语音信号的特征，包括说话者的特征和语音信息，这导致失真或残留噪声。为了解决这个问题，我们提出了跨模态对应（CMC）损失，这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响，并且包含说话人和语音信息，因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明，该方法在CMC损失的基础上学习同现，提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Enhancing End-to-End Multi-channel Speech Separation via Spatial Feature Learning
Tencent AI Lab（腾讯人工智能实验室）
手工制作的空间特征（例如，通道间相位差（IPD）在最近基于深度学习的多通道语音分离（MCSS）方法中起着基础作用。然而，这些手动设计的空间特征很难纳入端到端优化的MCSS框架。在这项工作中，我们提出了一个集成的架构，直接从多通道语音波形学习空间特征的端到端的语音分离框架。在该架构中，训练跨越信号通道的时域滤波器以执行自适应空间滤波。这些滤波器由2d卷积（conv2d）层实现，并且它们的参数以纯数据驱动的方式使用语音分离目标函数进行优化。此外，受IPD公式的启发，我们设计了一个conv2d内核来计算通道间卷积差（ICD），这有望提供有助于区分方向源的空间线索。仿真多通道混响WSJ0 2混合数据集上的评估结果表明，我们提出的基于ICD的MCSS模型提高了10.4%的整体信号失真比基于IPD的MCSS模型。
2020-03-13 cs.SD eess.AS
Recursive speech separation for unknown number of speakers
本文提出了一种未知说话人数目的单通道非特定人多说话人语音分离方法。相对于以前的作品，其中的扬声器的数量被假定为是已知的提前和语音分离模型是特定的扬声器的数量，我们所提出的方法可以应用于不同数量的扬声器使用一个单一的模型，通过递归分离扬声器的情况。为了使分离模型递归适用，我们提出了一个和其余的排列不变训练（OR-PIT）。WSJ 0 - 2 mix和WSJ 0 - 3 mix数据集上的评估表明，我们提出的方法实现了最先进的结果，两个和三个扬声器混合与一个单一的模型。此外，相同的模型可以分离四个扬声器混合，这是在训练过程中从未见过的。我们进一步提出了在递归分离过程中检测混合物中的扬声器数量，并表明这种方法可以更准确地估计扬声器的数量比使用基于深度神经网络的分类器提前检测。
2019-09-02 cs.SD eess.AS
Multichannel blind speech source separation with a disjoint constraint source model
CIAIC, Northwestern Polytechnical University（西北工业大学）
针对多通道盲语音源分离中未充分利用语音信号稀疏性的问题，本研究利用Bingham和Laplace分布构建不相交约束正则化项，将其整合到MNMF和ILRMA中，推导出s-MNMF和s-ILRMA两种增强算法，实验证明其能有效提升分离性能。
2024-01-03 cs.SD eess.AS
AVFSNet: Audio-Visual Speech Separation for Flexible Number of Speakers with Multi-Scale and Multi-Task Learning
School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学）；Industrial Technology Research Institte of Shandong Province（山东省工业技术研究院）
本文提出AVFSNet，通过多尺度编码、并行架构及音视频多任务学习，在未知说话人数量条件下实现鲁棒的语音分离与说话人计数。
2025-07-17 cs.SD eess.AS
Speaker and Direction Inferred Dual-channel Speech Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
大多数语音分离方法试图同时分离所有通道源，但对于输入声音的数量通常是不确定的甚至是动态的真实场景，仍然远远没有足够的通用化能力。在这项工作中，我们采用的想法，从听觉注意与两只耳朵，并提出了一个扬声器和方向推断语音分离网络（称为SDNet）来解决鸡尾酒会的问题。具体来说，我们的SDNet首先以顺序的方式从场景的混合物中解析出各自的感知表示及其扬声器和方向特征。然后，利用感知表示来注意每个对应的语音。我们的模型在空间特征的帮助下生成了更精确的感知表示，并成功地处理了未知源数量和输出选择的问题。在标准的完全重叠语音分离基准测试WSJ 0 - 2 mix、WSJ 0 - 3 mix和WSJ 0 -2&3mix上的实验表明了该方法的有效性，在无回声环境下，该方法的SDR性能分别提高了25.31 dB、17.26 dB和21.56 dB。我们的代码将在https://github.com/aispeech-lab/SDNet上发布。
2021-02-08 cs.SD eess.AS
Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment
在日常的听音环境中，语音常常受到背景噪声、室内混响和扬声器干扰的影响而失真。随着深度学习方法的发展，单耳多说话人语音分离研究取得了很大进展。然而，在这方面的研究大多集中在一个简单的问题设置的实验室环境中，没有考虑背景噪声和房间混响。在本文中，我们提出了一个基于conv-TasNet的两阶段模型，分别处理噪声和干扰扬声器的显着影响，其中使用深度扩展时间卷积网络（TCN）依次进行增强和分离。此外，我们提出了一种新的目标函数，称为最佳尺度不变信噪比（OSI-SNR），它在任何情况下都优于原来的SI-SNR。通过与OSI-SNR联合训练两阶段模型，我们的算法大大优于一阶段分离基线。
2020-08-01 cs.SD eess.AS
Generalized Spatio-Temporal RNN Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）；Indiana University（印第安纳大学）
传统的基于掩码的最小方差无失真响应（MVDR）方法虽然可以减小非线性失真，但MVDR分离语音的残余噪声水平仍然很高。在本文中，我们提出了一个时空递归神经网络波束形成器（RNN-BF）的目标语音分离。这种新的波束形成框架直接从估计的语音和噪声空间协方差矩阵学习波束形成权重。利用RNN的时间建模能力，RNN-BF可以自动累积语音和噪声协方差矩阵的统计信息，以递归方式学习帧级波束成形权重。提出了一种基于RNN的广义特征值波束形成器（RNN-GEV）和一种更广义的RNN波束形成器（GRNN-BF）。我们通过使用层归一化来代替协方差矩阵上常用的掩码归一化，进一步改进了RNN-GEV和GRNN-BF。所提出的GRNN-BF在语音质量（PESQ）、语音噪声比（SNR）和字出错率（WER）方面获得了优于现有技术的性能。
2021-04-03 cs.SD eess.AS
Self-Remixing: Unsupervised Speech Separation via Separation and Remixing
Waseda University（早稻田大学）
提出Self-Remixing无监督语音分离方法，通过分离与再混合生成伪混合信号并迭代优化，性能优于现有再混合方法且训练成本更低。
2023-09-01 cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.（3M健康信息系统公司）
在许多语音处理应用中，语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的（SOTA）结果。一类被称为时间卷积网络（TCN）的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野（RF）。语音去混响的最新研究表明，TCN的最佳RF随语音信号的混响特性而变化。在这项工作中，提出了可变形卷积作为一种解决方案，允许TCN模型具有动态RF，可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比（SISDR）的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议，它提供了可比的分离性能更大，更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法，通过减少计算复杂性并保持性能，提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
Multi-channel Narrow-band Deep Speech Separation with Full-band Permutation Invariant Training
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文研究了基于深度学习技术的多通道多语音分离问题。在短时傅立叶变换域，提出了一种端到端的窄带网络，它直接将一个频率的多路混合信号作为输入，输出该频率的分离信号。在窄带中，空间信息（或声道间差异）可以很好地区分不同位置的说话者。该信息被广泛用于许多窄带语音分离方法中，例如空间矢量的波束形成和聚类。所提出的网络被训练来学习规则，以自动利用这些信息并执行语音分离。这样的规则应该对任何频率都有效，因此网络由所有频率共享。此外，提出了一种全频带置换不变训练准则，解决了大多数窄带方法遇到的频率置换问题。实验表明，该方法通过对窄带信息的深度学习，性能优于oracle波束形成方法和基于深度学习的方法。
2022-04-12 cs.SD eess.AS
