Improving the transferability of speech separation by meta-learning
Graduate Institute of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与信息工程研究所）；Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所）
语音分离的目的是从一个混合语音中分离出多个语音源。虽然语音分离在一些现有的英语语音分离基准上得到了很好的解决，但语音分离模型在训练过程中看不见的口音或语言上的通用性值得进一步研究。本文采用基于元学习的方法来提高语音分离模型的可移植性。通过基于元学习的方法，我们发现，仅使用具有一种口音（母语英语口音）的语音数据作为我们的训练数据，模型仍然可以适应语音口音档案中新的看不见的口音。我们将结果与人类额定的本地口音相似性进行了比较，结果表明，与典型的迁移学习方法相比，MAML方法的可迁移性与训练和测试阶段之间的数据相似性关系较小。此外，我们发现，模型可以处理不同的语言数据从CommonVoice语料库在测试阶段。最重要的是，当涉及到新口音、新说话者、新语言和嘈杂环境时，MAML方法优于典型的迁移学习方法。
2022-03-11 cs.SD eess.AS
Reading to Listen at the Cocktail Party: Multi-Modal Speech Separation
University of Oxford（牛津大学）；VGG（视觉几何组）
本文提出基于 Transformer 的多模态语音分离统一框架，可融合文本与视觉线索，在 LRS2 和 LRS3 上取得最先进性能。
2025-01-02 cs.SD eess.AS eess.SP
Online Binaural Speech Separation of Moving Speakers With a Wavesplit Network
Columbia University（哥伦比亚大学）
真实世界场景中的双耳语音分离通常涉及移动扬声器。当前的语音分离方法大多使用话语级排列不变训练（u-PIT）进行训练。然而，在推理时间中，输出的顺序可能随着时间的推移而不一致，特别是在长形式语音分离中。当扬声器在空间中不断移动时，这种被称为扬声器交换问题的情况甚至更成问题，因此对输出声道中扬声器的一致放置提出了挑战。在这里，我们描述了一个实时双耳语音分离模型的基础上Wavesplit网络，以减轻扬声器交换问题的移动扬声器分离。我们的模型从混合音频中计算每个时间帧的每个扬声器的扬声器嵌入，使用在线聚类聚合嵌入，并使用聚类质心作为扬声器配置文件来跟踪每个扬声器。混响，长形式的移动多说话人语音分离的实验结果表明，该方法是不太容易说话人交换，并实现与基于u-PIT模型与地面真值跟踪在分离精度和保留耳间线索的性能相当。
2023-03-13 cs.SD eess.AS
Towards Real-Time Single-Channel Speech Separation in Noisy and Reverberant Environments
McGill University（麦吉尔大学）；CIRMMT（跨学科音乐媒体与技术中心）；Microsoft Research（微软研究院）
本文提出一种低复杂度、资源高效的因果DNN级联架构，依次完成噪声抑制、分离和去混响，实现嘈杂混响环境下两个及以上说话人的实时单通道语音分离，性能可与大型离线模型SepFormer相媲美。
2023-04-17 cs.SD eess.AS
Parrotron: An End-to-End Speech-to-Speech Conversion Model and its Applications to Hearing-Impaired Speech and Speech Separation
Google（谷歌）
我们描述了Parrotron，一种端到端训练的语音到语音转换模型，它将输入频谱图直接映射到另一个频谱图，而不使用任何中间离散表示。该网络由编码器、声谱图和音素解码器组成，随后是声码器以合成时域波形。我们证明，这个模型可以训练，以规范化语音从任何扬声器，无论口音，韵律和背景噪声，到一个单一的标准目标扬声器的声音与固定的口音和一致的发音和韵律。我们进一步表明，这种规范化模型可以适应于规范化的高度非典型的语音从聋人扬声器，从而显着提高可懂度和自然度，通过语音识别器和听力测试测量。最后，展示了该模型在其他语音任务上的实用性，我们表明，可以训练相同的模型架构来执行语音分离任务
2019-10-29 cs.SD eess.AS
Context-Aware Two-Step Training Scheme for Domain Invariant Speech Separation
针对语音分离模型跨域性能下降问题，提出由上下文提取器和分离器组成的上下文感知两阶段训练方案，并通过跨域实验证明其无需适配即可提升分离质量。
2025-03-16 cs.SD eess.AS
Unifying Speech Enhancement and Separation with Gradient Modulation for End-to-End Noise-Robust Speech Separation
Nanyang Technological University（南洋理工大学）；Hunan University（湖南大学）
近年来，基于神经网络的单声道语音分离研究取得了令人瞩目的成功，这得益于长序列建模能力的提高。然而，当置于现实的噪声条件下时，它们会显着降低，因为背景噪声可能被误认为是说话人的语音，从而干扰分离的源。为了缓解这个问题，我们提出了一种新的网络，统一语音增强和分离与梯度调制，以提高噪声鲁棒性。具体来说，我们首先建立一个统一的网络，结合语音增强（SE）和分离模块，多任务学习优化，其中SE是监督并行清洁混合，以减少下游语音分离的噪声。此外，为了避免抑制有效的说话人信息时，降低噪声，我们提出了一种梯度调制（GM）策略，以协调SE和SS任务从优化的角度。实验结果表明，我们的方法在大规模Libri 2 Mix和Libri 3 Mix噪声数据集上达到了最先进的水平，SI-SNRi结果分别为16.0 dB和15.8 dB。我们的代码可以在GitHub上找到。
2023-02-22 cs.LG cs.SD eess.AS
Remix-cycle-consistent Learning on Adversarially Learned Separator for Accurate and Stable Unsupervised Speech Separation
Waseda University（早稻田大学）
设计了一种新的语音分离网络学习算法，以无监督的方式显式地减少分离信号中的残留噪声和伪影。生成对抗网络是已知的有效构建分离网络时，观察到的信号的地面真相是不可访问的。尽管如此，针对分布到分布映射的弱目标使得学习不稳定并限制了它们的性能。本研究引入了混音周期一致性损失作为一个更合适的目标函数，并使用它来微调对抗学习源分离模型。混音周期一致性损失被定义为在麦克风处观察到的混合语音与通过交替分离混合声音并将其输出与另一组合进行混音的过程而获得的伪混合语音之间的差异。这种损失的最小化导致分离网络的输出中的失真的显式减少。与多通道语音分离的实验比较表明，该方法具有较高的分离精度和学习稳定性，可与监督学习相媲美。
2022-03-26 cs.SD eess.AS
Heterogeneous Separation Consistency Training for Adaptation of Unsupervised Speech Separation
Shanghai Normal University（上海师范大学）
近年来，有监督语音分离技术取得了很大的进展。然而，受监督训练性质的限制，大多数现有的分离方法都需要地面实况源，并且是在合成数据集上训练的。这种地面实况的依赖是有问题的，因为地面实况信号通常在真实条件下不可用。此外，在许多行业场景中，真实的声学特性与模拟数据集中的声学特性相差甚远。因此，当将有监督语音分离模型应用于实际应用时，其性能通常会显著下降。为了解决这些问题，在这项研究中，我们提出了一种新的分离一致性训练，称为SCT，利用现实世界的未标记的混合物，以迭代的方式改善跨域无监督语音分离，通过利用从异构（结构不同，但行为互补）模型获得的互补信息。SCT遵循一个框架，使用两个异构神经网络（HNN），以产生高置信度的伪标签的未标记的真实语音混合。然后更新这些标签，并用于改进HNN，以产生更可靠的一致分离结果，用于真实混合伪标记。为了最大限度地利用不同分离网络之间的大量互补信息，进一步提出了跨知识自适应。与模拟数据集一起，这些具有高置信度伪标签的真实混合物然后用于迭代地更新HNN分离模型。此外，我们发现通过简单的线性融合来组合异质分离输出可以进一步略微改善最终系统性能。
2022-08-06 cs.SD eess.AS
Multichannel Speech Separation with Narrow-band Conformer
Westlake University（西湖大学）
提出了一种基于窄带Conformer的多通道语音分离方法。该网络经过训练，可以自动利用窄带语音分离信息，例如多个说话者的空间矢量聚类。具体而言，在短时傅立叶变换（STFT）域中，网络独立地处理每个频率，并且由所有频率共享。对于一个频率，该网络输入多通道混合信号的STFT系数，并预测分离的语音信号的STFT系数。空间向量的聚类与自注意力机制在计算向量的相似性然后聚集相似向量的意义上共享类似的原理。因此，Conformer将特别适合于当前的问题。实验结果表明，所提出的窄带Conformer实现了更好的语音分离性能比其他国家的最先进的方法，由一个大的利润。
2022-07-01 cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Dual-Path Transformer Network: Direct Context-Aware Modeling for End-to-End Monaural Speech Separation
Jiangsu University（江苏大学）；Jiangsu Engineering Research Center of big data ubiquitous perception and intelligent agriculture applications（江苏省大数据泛在感知与智能农业应用工程研究中心）
主要的语音分离模型是基于复杂的递归或卷积神经网络，其对语音序列进行建模，间接地以上下文为条件，例如通过递归神经网络中的许多中间状态传递信息，从而导致次优分离性能。在本文中，我们提出了一个双路Transformer网络（DPTNet）的端到端的语音分离，它引入了直接的上下文感知的语音序列的建模。通过引入一种改进的Transformer，语音序列中的元素可以直接交互，这使得DPTNet可以对语音序列进行直接的上下文感知建模。改进的Transformer在我们的方法中学习的顺序信息的语音序列的位置编码，通过将一个递归神经网络到原来的Transformer。此外，双路径的结构，使我们的模型非常长的语音序列建模的效率。在基准数据集上进行的大量实验表明，我们的方法优于当前最先进的方法（在公共WSj 0 - 2 mix数据语料库上为20.6 dB SDR）。
2020-08-14 cs.SD eess.AS
Training Noisy Single-Channel Speech Separation With Noisy Oracle Sources: A Large Gap and A Small Step
The Johns Hopkins University（约翰斯·霍普金斯大学）；Chinese Academy of Sciences（中国科学院）
随着单通道语音分离系统性能的提高，人们希望能够在比开发初始系统时所使用的干净近场语音更具挑战性的条件下进行训练。在训练深度学习分离模型时，需要对地面实况进行训练。因此，在嘈杂条件下的训练需要使用合成添加到干净语音的噪声，防止将域内数据用于嘈杂条件任务，或者使用嘈杂语音的混合物进行训练，需要网络额外分离噪声。我们证明了噪声的相对不可分割性，这种嘈杂的语音模式导致系统性能的显着下降。我们还提出了一个受SI-SDR启发的训练目标，该目标试图利用噪声的不可分离性来隐式地划分信号并折扣噪声分离错误，从而能够训练具有噪声Oracle源的更好的分离系统。
2021-02-22 cs.SD eess.AS
Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in High-order Latent Domain
Harbin Institute of Technology at Shenzhen（深圳哈尔滨工业大学）；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））
单通道语音分离的关键是如何将混合信号编码到一个隐嵌入空间中，以使来自不同说话人的信号能够被精确分离。现有的语音分离方法要么将语音信号变换到频域进行分离，要么通过构造基于卷积滤波器的潜在域来学习可分离的嵌入空间。虽然后一种学习嵌入空间的方法实现了语音分离的实质性改进，但我们认为，仅由一个潜在域定义的嵌入空间不足以为语音分离提供完全可分离的编码空间。在本文中，我们提出了逐步细化语音分离网络（SRSSN），它遵循一个由粗到细的分离框架。它首先学习1阶潜在域来定义编码空间，从而在粗阶段执行粗分离。然后，建议SRSSN学习一个新的潜在域沿每个基函数的现有的潜在域，以获得一个高阶的潜在域在细化阶段，这使得我们的模型进行细化分离，以实现更精确的语音分离。我们通过进行广泛的实验来证明我们的SRSSN的有效性，包括在WSJ 0 -2/3 mix数据集上的干净（无噪声）设置中的语音分离以及在WHAM！/哇！数据集。此外，我们也利用我们的模型对分离后的语音信号进行语音识别实验，以间接评估语音分离的效能。
2022-01-31 cs.LG cs.SD eess.AS
Analysis of Speech Separation Performance Degradation on Emotional Speech Mixtures
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
本文分析了情感语音对语音分离模型性能退化的影响，发现即使域外性能强的Sepformer在强情感混合物上仍退化高达5.1 dB SI-SDRi，强调了真实应用中考虑情感的必要性。
2023-09-14 cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
EDSep: An Effective Diffusion-Based Method for Speech Source Separation
Jiangsu University（江苏大学）；Northwestern Polytechnical University（西北工业大学）
提出基于SDE得分匹配的单通道语音分离方法EDSep，通过新型去噪器函数和随机采样器优化训练与采样效率，在多个数据集上性能优于现有扩散和判别模型。
2025-01-27 cs.SD eess.AS
Separating Long-Form Speech with Group-Wise Permutation Invariant Training
Microsoft（微软）
多人会话语音处理在会议记录等应用中引起了广泛的关注。通常需要语音分离来处理在对话中经常观察到的重叠语音。虽然原始的基于话语级置换不变训练的连续语音分离方法已被证明在各种条件下都是有效的，但它缺乏利用话语的长跨度关系的能力，并且由于高度重叠的滑动窗口而计算效率低下。为了克服这些缺点，我们提出了一种新的训练方案，名为Group-PIT，它允许直接训练的语音分离模型的长形式的语音与低计算成本的标签分配。研究了两种不同的基于Group-PIT的语音分离方法，包括直接的长跨度语音分离和基于长跨度跟踪的短跨度语音分离。在模拟会议类型数据上的实验表明了本文方法的有效性，特别是在处理超长语音输入时。
2021-11-17 cs.SD eess.AS
A Multi-Stage Triple-Path Method for Speech Separation in Noisy and Reverberant Environments
Xi'an Jiaotong University（西安交通大学）；Du Xiaoman（度小满）
在嘈杂和混响的环境中，基于深度学习的语音分离方法的性能急剧下降，因为以前的方法没有针对这种情况进行设计和优化。为了解决这个问题，我们提出了一种多阶段的端到端学习方法，将噪声和混响环境中的语音分离问题分为三个子问题：语音去噪，分离和去混响。通过缩小解空间，提高了语音分离模型搜索最优解的概率和速度。此外，由于在时域中的音频序列的信道信息是至关重要的语音分离，我们提出了一个三路径结构，能够建模的音频序列的信道维数。实验结果表明，本文提出的多阶段三径方法可以以较小的模型参数增量为代价提高语音分离模型的性能。
2023-03-07 cs.LG cs.SD eess.AS
A Computationally Efficient and Practically Feasible Two Microphones Blind Speech Separation Method
传统上，盲语音分离技术在计算上是昂贵的，因为它们在每个时间帧索引处更新去混合矩阵，使得它们在许多实时应用中不切实际。本文采用一种稳健的数据驱动双麦克风声源定位方法作为准则，以降低独立向量分析（IVA）盲语音分离（BSS）方法的计算复杂性。IVA用于分离卷积混合的语音和噪声源。通过在智能手机设备上实现该方法来分离助听器应用中真实场景中的语音和噪声，证明了该方法的实际可行性。客观和主观测试的实验结果表明，开发的方法在许多现实世界的应用中的实际可用性。
2018-12-10 cs.SD eess.AS
Neural Spatio-Temporal Beamformer for Target Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
基于神经网络的语音分离和增强方法虽然能取得较好的客观效果，但不可避免地会产生非线性语音失真，这对自动语音识别（ASR）是有害的。另一方面，最小方差无失真响应（MVDR）波束形成器与NN预测的面具，虽然可以显着减少语音失真，具有有限的降噪能力。在本文中，我们提出了一个多抽头MVDR波束形成器与复值掩模语音分离和增强。与现有技术的基于NN掩模的MVDR波束形成器相比，除了现有技术中已经利用的麦克风间相关性之外，多抽头MVDR波束形成器还利用帧间相关性。进一步的改进包括用复值掩码替换实值掩码和复掩码NN的联合训练。对我们的多模态多通道目标语音分离和增强平台的评估表明，我们提出的多抽头MVDR波束形成器相对于现有技术提高了ASR准确性和感知语音质量。
2020-07-31 cs.SD eess.AS
Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning
Xi'an Jiaotong University（西安交通大学）；Du Xiaoman（度小满）
Transformer在语音分离方面表现出了先进的性能，这得益于其捕获全局特征的能力。然而，在语音分离中，获取音频序列的局部特征和声道信息同样重要。在本文中，我们提出了一种新的方法命名为内SE-Conformer和Inter-Transformer（ISCIT）的语音分离。具体来说，我们设计了一种新的网络SE-Conformer，可以在多个维度和尺度上对音频序列进行建模，并将其应用于双路径语音分离框架。此外，我们提出了多块特征聚合，以提高分离效果，有选择地利用信息的中间块的分离网络。同时，我们提出了一个说话人相似性判别损失来优化语音分离模型，以解决当说话人具有相似的声音时性能较差的问题。在基准数据集WSJ 0 - 2 mix和WHAM！显示ISCIT可以实现最先进结果。
2023-03-07 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation（NTT（日本电报电话公司）媒体情报研究所）
提出了一种视听语音分离学习方法，该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练，纯音频损失反映了源信号与分离信号之间的距离。然而，传统的损失不能反映语音信号的特征，包括说话者的特征和语音信息，这导致失真或残留噪声。为了解决这个问题，我们提出了跨模态对应（CMC）损失，这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响，并且包含说话人和语音信息，因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明，该方法在CMC损失的基础上学习同现，提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Investigation of Practical Aspects of Single Channel Speech Separation for ASR
Microsoft Corporation（微软公司）；Harbin Institute of Technology（哈尔滨工业大学）
语音分离由于其处理重叠语音的能力以及其与诸如自动语音识别（ASR）的下游任务相结合的灵活性而被成功地用作会话转录系统的前端处理模块。然而，语音分离模型经常引入目标语音失真，导致次优的字错误率（WER）。在本文中，我们描述了我们的努力，以提高单通道语音分离系统的性能。具体来说，我们调查了一个两阶段的训练计划，首先适用于预训练的特征级优化标准，其次是一个面向ASR的优化标准，使用端到端（E2E）语音识别模型。同时，为了保持模型的轻量级，我们引入了一种改进的师生学习技术来压缩模型。通过结合这些方法，与LibriCSS数据集上先前的最先进结果相比，我们使用小于10M参数的模型分别实现了2.70%和0.77%的绝对平均WER改进，用于话语评估和连续评估
2021-07-05 cs.SD eess.AS
Multi-accent Speech Separation with One Shot Learning
National Taiwan University（国立台湾大学）
语音分离是近年来语音处理领域研究的热点问题。然而，还没有太多的工作研究多口音语音分离的情况。未知说话人的新口音和噪声引起的域失配问题，不能很容易地解决传统的联合训练方法。因此，我们应用MAML和FOMAML来解决这个问题，并在几乎所有看不见的口音上获得了比联合训练更高的平均Si-SNRi值。这证明了这两种方法确实有能力生成经过良好训练的参数，以适应新说话人和口音的语音混合。此外，我们发现，FOMAML获得类似的性能相比，MAML，同时节省了大量的时间。
2021-08-05 cs.SD eess.AS
Online speaker diarization of meetings guided by speech separation
Institut Polytechnique de Paris（巴黎综合理工学院）
针对重叠语音干扰及语音分离模型难适配真实会议数据的问题，提出语音分离引导的在线说话人日志方案，经AMI语料微调后在AMI headset mix上达SOTA，重叠语音段表现尤佳。
2024-01-30 cs.LG cs.SD eess.AS
WHAMR!: Noisy and Reverberant Single-Channel Speech Separation
MERL（三菱电机研究实验室）
虽然在重叠语音信号的分离方面已经取得了重大进展，但研究在很大程度上限于干净的、接近消声的语音的混合，而不是许多真实世界场景的代表。虽然WHAM！数据集将噪声引入到无处不在的WSJ 0 - 2 Mix数据集，它不包括混响，混响通常存在于录音室外的室内录音中。混响引起的频谱拖尾可能导致标准的基于深度学习的语音分离系统的显著性能下降，该系统依赖于频谱结构和语音信号的稀疏性来梳理分离源。为了解决这个问题，我们推出了WHAMR！，一个增强版的WHAM！与合成混响源，并提供了一个彻底的基线分析，目前的技术，以及新的级联架构的新引进的条件。
2020-02-14 cs.SD eess.AS
Onssen: an open-source speech separation and enhancement library
City University of New York（纽约城市大学）
语音分离是多说话人语音识别的一项重要任务。最近提出了许多深度学习方法，并不断刷新最先进的性能。算法实现的缺乏限制了研究人员使用相同的数据集进行比较。构建一个通用平台可以使研究人员受益，因为它可以轻松地实现新的分离算法，并将其与定制数据集上的现有算法进行比较。我们介绍“onssen”：一个开源的语音分离和增强库。Onssen是一个主要用于深度学习分离和增强算法的库。它使用LibRosa和NumPy库进行特征提取，PyTorch作为模型训练的后端。onssen支持大多数基于时频掩码的分离算法（例如，深度聚类、chimera net、chimera++等），也支持自定义数据集。在本文中，我们描述了Onssen模块的功能，并显示Onssen实现的算法达到了与原始论文中报告的相同的性能。
2019-11-03 cs.SD eess.AS
Filterbank design for end-to-end speech separation
University de Lorraine（洛林大学）
由于ConvTasNet中使用的学习滤波器组，单通道语音分离最近取得了很大进展。同时，参数化滤波器组已被提出用于说话人识别，其中仅学习中心频率和带宽。在这项工作中，我们将实值学习和参数化滤波器组扩展到复值分析滤波器组，并定义了一组相应的表示和掩蔽策略。我们评估这些滤波器组在一个新发布的嘈杂的语音分离数据集（WHAM）。结果表明，所提出的分析学习滤波器组始终优于ConvTasNet的实值滤波器组。此外，我们验证了参数化滤波器组的使用，并表明复值表示和掩码在所有条件下都是有益的。最后，我们表明，STFT达到其最佳性能为2ms的窗口。
2020-02-28 cs.LG cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.（3M健康信息系统公司）
在许多语音处理应用中，语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的（SOTA）结果。一类被称为时间卷积网络（TCN）的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野（RF）。语音去混响的最新研究表明，TCN的最佳RF随语音信号的混响特性而变化。在这项工作中，提出了可变形卷积作为一种解决方案，允许TCN模型具有动态RF，可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比（SISDR）的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议，它提供了可比的分离性能更大，更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法，通过减少计算复杂性并保持性能，提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
SkiM: Skipping Memory LSTM for Low-Latency Real-Time Continuous Speech Separation
Shanghai Jiao Tong University（上海交通大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院-北京（SRC-B））
用于会议预处理的连续语音分离是近年来的研究热点。与话语级语音分离中的数据相比，会议式音频流持续时间更长，说话人数量不确定。我们采用时域语音分离方法和最近提出的Graph-PIT，建立一个超低延迟的在线语音分离模型，这是非常重要的实际应用。具有小步幅的低延迟时域编码器导致极长的特征序列。提出了一种简单而有效的长序列建模模型Skipping Memory（SkiM）。实验结果表明，SkiM的分离性能与DPRNN相当，甚至更好.同时，SkiM的计算成本比DPRNN减少了75%。SkiM强大的长序列建模能力和较低的计算成本使其成为在线CSS应用程序的合适模型。我们最快的实时模型在模拟会议式评估中获得了17.1 dB的信号失真比（SDR）改善，延迟不到1毫秒。
2022-02-10 cs.SD eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们提出了一个新的框架，共同执行三个任务：说话人日记，语音分离，说话人计数。我们提出的框架集成了基于端到端神经日记化（EEND）模型的说话人日记化，基于编码器-解码器的吸引子（EDA）的说话人计数，以及使用Conv-TasNet的语音分离。此外，我们提出了一个多个1x 1卷积层架构，用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术，用于细化分离的语音信号与获得的扬声器diarization信息，以改善联合框架。使用LibriMix数据集的实验表明，我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线，并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
3D Neural Beamforming for Multi-channel Speech Separation Against Location Uncertainty
Tencent AI Lab（腾讯人工智能实验室）
利用说话人的方向信息进行多通道语音分离，比盲语音分离有明显的优势。然而，它有两个局限性。首先，当两个声音的到来方向接近时，观察到实质性的性能下降。第二，结果高度依赖于说话人方向的精确估计。为了克服这些问题，本文提出了3D功能和相关的3D神经波束形成器的多通道语音分离。以前在这方面的工作是在两个重要的方向延伸。首先，将传统的1D定向波束方向图推广到3D。这使得模型能够从3D空间中的任何目标区域提取语音。因此，具有相似方向但不同高度或距离的扬声器变得可分离。其次，为了处理说话人位置的不确定性，以前提出的空间特征扩展到一个新的三维区域特征。提出的3D区域特征和3D神经波束形成器在车内场景下进行评估。实验结果表明，三维特征和三维波束形成器的组合可以实现与地面真实说话人位置作为输入的分离模型相当的性能。
2023-02-27 cs.SD eess.AS
Multi-resolution location-based training for multi-channel continuous speech separation
Department of Computer Science and Engineering, The Ohio State University, USA（美国俄亥俄州立大学计算机科学与工程系）；Center for Cognitive and Brain Sciences, The Ohio State University, USA（美国俄亥俄州立大学认知与脑科学中心）
当多说话人语音重叠时，自动语音识别（ASR）系统的性能会严重下降。在会议环境中，通常执行语音分离以提高ASR系统的鲁棒性。最近，基于位置的训练（LBT）被提出作为一种新的训练标准，用于多通道说话人无关的说话人分离。假设固定的阵列几何形状，LBT在完全重叠的话语和匹配的混响条件下优于广泛使用的置换不变训练。本文将LBT扩展到会话多声道说话人分离。我们引入多分辨率LBT来估计从低到高的时间和频率分辨率的复杂频谱图。使用多分辨率LBT，卷积核是基于物理空间中的扬声器位置一致地分配的。评估结果表明，多分辨率LBT在记录的LibriCSS语料库上始终优于其他竞争方法。
2023-01-16 cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University（哥伦比亚大学）
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出，因此丢弃了空间声源定位所需的空间线索。然而，保留空间信息在许多旨在准确呈现声学场景的应用中是重要的，例如在助听器和增强现实（AR）中。在这里，我们提出了一种语音分离算法，保留分离的声源的耳间线索，可以实现低延迟和高保真度，因此能够实时修改的声学场景。基于时域音频分离网络（TasNet），一个单通道时域语音分离系统，可以在实时实现，我们提出了一个多输入多输出（MIMO）端到端的TasNet扩展，以双耳混合音频作为输入，同时分离目标扬声器在两个通道。实验结果表明，所提出的端到端MIMO系统能够显著提高分离性能，并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
Continuous Speech Separation with Recurrent Selective Attention Network
Microsoft（微软）
虽然基于排列不变训练（PIT）的连续语音分离（CSS）显著提高了会话转录的准确性，但由于其具有固定数量的输出通道，因此其经常遭受语音泄漏和在“热点”区域分离失败。在本文中，我们提出了适用于循环选择性注意网络（RSAN）的CSS，它产生一个可变数量的输出通道的基础上积极发言人计数。此外，我们提出了一种新的块式依赖扩展的RSAN通过在CSS框架中相邻的处理块之间引入依赖关系。它使网络能够利用先前块的分离结果来促进当前块的处理。LibriCSS数据集上的实验结果表明，基于RSAN的CSS（RSAN-CSS）网络一致地提高了基于PIT的模型的语音识别准确性。所提出的分块依赖建模进一步提高了RSAN-CSS的性能。
2021-10-28 cs.SD eess.AS
Guided Training: A Simple Method for Single-channel Speaker Separation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）
深度学习在语音分离，特别是语音和非语音分离方面显示出巨大的潜力。然而，它遇到的置换问题的多说话人分离的目标和干扰都是语音。排列不变训练（PIT）通过排列多个说话人的顺序来解决这个问题。另一种方法是使用锚语音，目标说话人的短语音，来建模说话人身份。在本文中，我们提出了一个简单的策略来训练一个长短期记忆（LSTM）模型，以解决说话人分离中的置换问题。具体地说，我们在一个混合的开始插入一个目标说话人的短语音作为指导信息。因此，第一个出现的说话者被定义为目标。由于强大的序列建模能力，LSTM可以使用其存储单元来跟踪和分离目标语音与干扰语音。实验结果表明，该训练策略对说话人分离是有效的。
2021-03-26 cs.AI cs.SD eess.AS
On The Compensation Between Magnitude and Phase in Speech Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
基于深度神经网络（DNN）的复时频（T-F）域或时域中的端到端优化在单声道语音分离中显示出相当大的潜力。许多最近的研究优化损失函数定义的时间或复杂的域，而不包括损失的幅度。虽然如果评估度量是客观时域度量，则这样的损失函数通常产生更好的分数，但是与包括幅度损失相比，它们产生关于语音质量和可懂度度量的更差的分数，并且通常导致更差的语音识别性能。虽然这种现象已经被许多研究实验观察到，但它往往没有得到准确的解释，并且对其根本原因缺乏透彻的了解。本文从估计幅度和估计相位之间的隐式补偿的角度提供了一种新的观点。分析结果的基础上单声道语音分离和鲁棒自动语音识别（ASR）的任务在嘈杂的混响条件下支持我们的观点的有效性。
2021-09-27 cs.SD eess.AS
Cross-Talk Speech Reduction, by Separation, for Separation
Department of Computer Science and Engineering（计算机科学与工程系）；Southern University of Science and Technology（南方科技大学）；Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种旨在从近场混合信号中分离说话人语音的交叉talk消除任务，并提出了一种名为CTRnet的新型方法，可以直接在真实录制的近场和远场混合信号对上训练以完成CTR。基于CTRnet，进一步提出基于伪标签的远场语音分离（PuLSS），利用CTRnet估计的干净语音作为伪标签来训练分离远场混合信号的模型。该框架的主要优势是CTRnet和PuLSS都可以在目标域的真实数据上进行训练，解决了模型仅在模拟数据上训练时通常观察到的泛化差距。在CHiME-6数据集上，该框架在Oracle和估计说话人分离条件下实现了最先进的ASR性能，超过了所有CHiME-{7,8}挑战提交。据我们所知，这是首个在真实对话“语音在野外”数据上显著优于引导源分离的神经语音分离方法。
2026-05-19 cs.SD eess.AS
Tiny-Sepformer: A Tiny Time-Domain Transformer Network for Speech Separation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Aquinas International Academy（阿奎纳斯国际学院）
时域Transformer神经网络在语音分离任务中已经证明了其优越性。然而，这些模型通常具有大量的网络参数，因此经常遇到GPU内存爆炸的问题。在本文中，我们提出了Tiny-Sepformer，一个小型版本的Transformer网络的语音分离。我们提出了两种技术来减少模型参数和内存消耗：（1）卷积注意（CA）块，分裂的香草Transformer到两个路径，多头注意力和1D dependency可分离卷积，（2）参数共享，共享CA块内的层参数。在我们的实验中，Tiny-Sepformer可以大大减小模型大小，并在WSJ 0 -2/3 Mix数据集上实现与vanilla Sepformer相当的分离性能。
2022-06-30 cs.SD eess.AS
Stabilizing Label Assignment for Speech Separation by Self-supervised Pre-training
National Taiwan University（国立台湾大学）；University of Edinburgh（爱丁堡大学）
语音分离已经得到了很好的发展，非常成功的排列不变训练（PIT）的方法，虽然频繁的标签分配切换发生在PIT训练过程中仍然是一个问题，当需要更好的收敛速度和可实现的性能。在本文中，我们建议进行自我监督的预训练，以稳定训练语音分离模型中的标签分配。在几种自监督方法、几种典型的语音分离模型和两个不同的数据集上的实验表明，如果选择适当的自监督方法，可以取得很好的效果。
2021-08-22 cs.CL cs.SD eess.AS
REAL-M: Towards Speech Separation on Real Mixtures
Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；Università Politecnica delle Marche（马尔凯理工大学）
近年来，基于深度学习的源分离取得了令人印象深刻的成果。然而，大多数研究仍然在合成数据集上评估分离模型，而最先进的技术在野外语音数据上的性能仍然是一个悬而未决的问题。本文通过两种方式填补了这一空白。首先，我们发布了REAL-M数据集，这是一个众包的真实混合物语料库。其次，我们解决了现实生活中的混合物，地面真相是不可用的性能评估的问题。我们通过仔细设计盲尺度不变信噪比（SI-SNR）神经估计器来绕过这个问题。通过用户研究，我们表明，我们的估计可靠地评估分离性能的真实混合物。SI-SNR估计器的性能预测确实与人的意见很好地相关。此外，我们观察到，在评估流行的语音分离模型时，我们的估计器在REAL-M数据集上预测的性能趋势与在合成基准上实现的性能趋势密切相关。
2021-10-20 cs.LG cs.SD eess.AS
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（科大讯飞研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种分离引导的说话人日志化（SGSD）方法，充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化（CSD）方法不能很好地处理重叠的语音段，我们调查，在这项研究中，基于分离的说话人日记化（SSD），它固有的潜力，以处理说话人重叠区域。我们的初步分析表明，最先进的基于Conv-TasNet的语音分离，这是相当不错的模拟数据，是不稳定的，在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时，基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言，几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音（CTS）数据上的实验表明，所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能，产生的相对日记错误率降低20.2%和20.8%的开发集和评估集，分别。
2021-07-06 cs.SD eess.AS
CSLNSpeech: solving extended speech separation problem with the help of Chinese sign language
Southeast University（东南大学）；Univ Rennes（雷恩大学）；INSERM（法国国家健康与医学研究院）；Centre de Recherche en Information Biomédicale Sino-français (CRIBs)（中法生物医学信息研究中心）
本研究提出融合音频、人脸、手语三模态的CSLNSpeech模型解决扩展语音分离问题，构建对应大规模数据集，实验证明其性能优于常规视听系统，且手语可单独监督分离任务，框架通用且具竞争力。
2023-11-03 cs.CV cs.SD eess.AS
Unsupervised Single-Channel Speech Separation with Diffusion under Speaker-Embedding Guidance
Institute of Science Tokyo（东京科学研究所）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）
该研究针对无监督单通道语音分离问题，提出说话人嵌入引导与分离导向求解器，提升了基于源模型的无监督语音分离性能。
2026-08-03 cs.SD eess.AS
Mixed Precision DNN Qunatization for Overlapped Speech Separation and Recognition
Tencent AI lab（腾讯AI实验室）
重叠语音的识别一直是一个极具挑战性的任务。多通道语音分离系统在实际应用中变得越来越复杂和昂贵。为此，低比特神经网络量化提供了一个强大的解决方案，以显着减少其模型的大小。然而，目前的量化方法是基于统一的精度，并没有考虑到不同的模型组件的量化误差的变化的性能灵敏度。本文提出了一种新的混合精度DNN量化方法，通过将局部可变位宽应用于基于TF掩蔽的多通道语音分离系统的各个TCN分量。使用三种技术自动学习最佳局部精度设置。前两种方法利用基于均方误差（MSE）损失函数曲率或在全精度和量化分离模型之间测量的KL发散的量化灵敏度度量。第三种方法是基于混合精度神经结构搜索。LRS 3-TED语料库模拟重叠语音数据上进行的实验表明，所提出的混合精度量化技术始终优于可比位宽的均匀精度基线语音分离系统的SI-SNR和PESQ分数，以及字出错率（WER）减少高达2.88%的绝对（8%相对）。
2021-11-29 cs.SD eess.AS
Efficient Integration of Multi-channel Information for Speaker-independent Speech Separation
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；InstaDeep
尽管基于深度学习的方法在过去几年中显著提高了语音分离的性能，但如何整合多通道信号进行语音分离仍然是一个悬而未决的问题。本文提出了两种基于时域音频分离网络的多通道信息融合方法，即早期融合和后期融合方法，该方法在单通道语音分离中已被证明是有效的。我们还提出了通道顺序迁移学习，这是一种迁移学习框架，它将为低通道网络训练的参数作为高通道网络的初始值。为了公平比较，我们使用开源的wsj 0 - 2 mix数据集的空间化版本评估了我们提出的方法。结果发现，我们提出的方法可以优于多通道深度聚类，并与麦克风数量成比例地提高性能。实验还证明，无论扬声器之间的角度差如何，后期融合方法的性能始终高于单通道方法。
2020-08-11 cs.SD eess.AS
Continuous Speech Separation with Ad Hoc Microphone Arrays
Microsoft（微软）
语音分离对于多说话者语音识别是有效的。在阵列由空间分布的异步麦克风组成的自组织麦克风阵列设置下，必须克服额外的挑战，因为麦克风的几何形状和数量事先是未知的。已有的研究表明，神经网络具有时空交织结构，可以有效地利用自组织阵列的多通道信号。在本文中，我们进一步扩展这种方法，连续语音分离。介绍了几种技术，使真正的连续录音语音分离。首先，我们应用基于变换器的网络的时空建模的ad hoc阵列信号。此外，提出了两种方法，以减轻语音重复的问题，在单一的谈话者段，这似乎更严重的特设阵列的情况下。一种方法是用于减少模拟训练数据和真实记录之间的声学失配的设备失真模拟。另一种是说话人计数，检测单个说话人段并合并输出信号通道。AdHoc-LibiCSS是一个新的数据集，由多个不同设备获得的串联LibriSpeech话语的连续记录组成，实验结果表明，所提出的分离方法可以显着提高重叠语音的ASR准确性，并且对于单个说话者段的性能下降很少。
2021-03-03 cs.AI cs.LG cs.SD
A comprehensive study of speech separation: spectrogram vs waveform separation
Tencent（腾讯）
在过去的几年里，语音分离已经被广泛研究用于单通道近距离麦克风录音;开发的解决方案大多是在频域中。最近，针对单通道数据引入了原始音频波形分离网络（TasNet），与频域中的最新解决方案相比，该网络实现了高的Si-SNR（尺度不变源噪声比）和SDR（源失真比）。在这项研究中，我们将有效成分的TasNet到频域分离方法。我们比较两者的替代方案。我们介绍了一种解决方案，直接优化频域网络中的分离准则。除了语音分离的客观和主观的测量，我们评估分离性能的语音识别任务以及。我们研究了远场数据（更类似于自然的音频流）的语音分离问题，并利用频谱，空间和扬声器位置信息开发了频域和时域分离器的多通道解决方案。对于我们的实验，我们模拟了多通道空间混响WSJ 0 - 2 mix数据集。我们的实验结果表明，频谱图分离可以实现更好的网络设计的竞争力的性能。多通道框架也被证明可以相对提高单通道性能，WER和SDR分别达到+35.5%和+46%。
2019-07-23 cs.LG cs.SD eess.AS
Multimodal Target Speech Separation with Voice and Face References
University of Hamburg（汉堡大学）
目标语音分离是指通过条件化有关目标说话人的辅助信息，从多说话人混合信号中分离出目标语音。不同于主流的视听方法，通常需要同时的视觉流作为额外的输入，例如相应的嘴唇运动序列，在我们的方法中，我们提出了一种新的使用目标扬声器的一个单一的面部轮廓，以分离预期的干净的语音。我们利用的事实是，一张脸的图像包含有关人的语音的信息。与使用同步视觉序列相比，面部图像更容易通过预注册或在网站上获得，这使得系统能够推广到没有摄像头的设备。为此，我们将从用于人脸识别的预训练模型中提取的人脸嵌入到语音分离中，从而指导系统在时频域中预测目标说话人掩码。实验结果表明，预注册的人脸图像能够有利于分离预期的语音信号。此外，人脸信息是语音参考的补充，我们表明，当结合人脸和语音嵌入时，可以实现进一步的改进。
2020-05-17 cs.SD eess.AS
TF-MLPNet: Tiny Real-Time Neural Speech Separation
Paul G. Allen School of Computer Science \& Engineering, University of Washington
TF-MLPNet是首个能在低功耗可听设备加速器上实时运行的语音分离网络，通过时频域交替全连接层与卷积处理，在GAP9上实现6毫秒音频块实时处理，运行时间较现有模型减少3.5-4倍。
2025-08-05 cs.LG cs.SD eess.AS
Deep Neural Mel-Subband Beamformer for In-car Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
虽然目前基于深度学习（DL）的波束成形技术已被证明在语音分离中是有效的，但它们通常被设计为独立处理窄带（NB）频率，这导致更高的计算成本和推理时间，使它们不适合现实世界的使用。在本文中，我们提出了基于DL的梅尔子带时空波束形成器进行语音分离在汽车环境中，减少计算成本和推理时间。相对于传统的子带（SB）的方法，我们的框架使用了一个梅尔规模为基础的子带选择策略，确保了细粒度的处理较低的频率，其中大多数语音共振峰结构是存在的，和粗粒度的处理较高的频率。以递归的方式，从估计的子带语音和噪声协方差矩阵中为汽车中的每个扬声器位置/区域确定鲁棒的帧级波束成形权重。此外，所提出的框架还通过使用回声参考信号来估计和抑制来自扬声器的任何回声。我们比较了我们提出的框架的性能，几个NB，SB和全频带（FB）处理技术的语音质量和识别指标。基于模拟和真实世界的录音实验评估，我们发现，我们提出的框架实现了更好的分离性能在所有SB和FB方法，并实现性能接近NB处理技术，同时需要较低的计算成本。
2023-03-11 cs.LG cs.SD eess.AS
TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出基于离散语音token的TokenSplit分离模型，采用Transformer架构，支持多任务训练与转录条件化，还可结合传统模型实现语音精细化，在分离及ASR等任务上表现优异。
2023-08-21 cs.LG cs.SD eess.AS
