Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.(3M健康信息系统公司)
在许多语音处理应用中,语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的(SOTA)结果。一类被称为时间卷积网络(TCN)的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野(RF)。语音去混响的最新研究表明,TCN的最佳RF随语音信号的混响特性而变化。在这项工作中,提出了可变形卷积作为一种解决方案,允许TCN模型具有动态RF,可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比(SISDR)的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议,它提供了可比的分离性能更大,更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model
本文提出了一种基于高效Transformer模型的单通道多说话人语音分离方法,通过减少计算复杂性并保持性能,提升了语音分离的效率。
2026-02-17 cs.LG cs.SD eess.AS
Guided Training: A Simple Method for Single-channel Speaker Separation
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院)
深度学习在语音分离,特别是语音和非语音分离方面显示出巨大的潜力。然而,它遇到的置换问题的多说话人分离的目标和干扰都是语音。排列不变训练(PIT)通过排列多个说话人的顺序来解决这个问题。另一种方法是使用锚语音,目标说话人的短语音,来建模说话人身份。在本文中,我们提出了一个简单的策略来训练一个长短期记忆(LSTM)模型,以解决说话人分离中的置换问题。具体地说,我们在一个混合的开始插入一个目标说话人的短语音作为指导信息。因此,第一个出现的说话者被定义为目标。由于强大的序列建模能力,LSTM可以使用其存储单元来跟踪和分离目标语音与干扰语音。实验结果表明,该训练策略对说话人分离是有效的。
2021-03-26 cs.AI cs.SD eess.AS
Speaker Separation Using Speaker Inventories and Estimated Speech
The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了扬声器分离使用扬声器库存和估计的语音(SSUSIES),一个框架,利用扬声器配置文件和估计的语音扬声器分离。SSUSIES包含两种方法,说话人分离使用说话人清单(SSUSI)和说话人分离使用估计语音(SSUES)。SSUSI在说话人清单的帮助下执行说话人分离。通过结合置换不变训练(PIT)和语音提取的优点,SSUSI显着优于传统的方法。SSUES是一种广泛应用的技术,它可以使用第一遍分离的输出来显著改善扬声器分离性能。我们评估模型的说话人分离和语音识别指标。
2020-10-20 cs.CL cs.SD eess.AS
Many-Speakers Single Channel Speech Separation with Optimal Permutation Training
Tel Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
单通道语音分离技术在过去几年中取得了很大的进展。然而,训练大量说话者的神经语音分离(例如,超过10个扬声器)对于依赖于排列不变损失(PIT)的当前方法来说是遥不可及的。在这项工作中,我们提出了一个置换不变的训练,采用匈牙利算法,以训练与$O(C^3)$的时间复杂度,其中$C$是扬声器的数量,在比较$O(C!)$的PIT为基础的方法。此外,我们提出了一个修改后的架构,可以处理增加的扬声器数量。我们的方法分离到$20$扬声器,并提高了以前的结果,大$C$的一个很大的利润。
2021-11-07 cs.AI cs.LG cs.SD
A comprehensive study of speech separation: spectrogram vs waveform separation
Tencent(腾讯)
在过去的几年里,语音分离已经被广泛研究用于单通道近距离麦克风录音;开发的解决方案大多是在频域中。最近,针对单通道数据引入了原始音频波形分离网络(TasNet),与频域中的最新解决方案相比,该网络实现了高的Si-SNR(尺度不变源噪声比)和SDR(源失真比)。在这项研究中,我们将有效成分的TasNet到频域分离方法。我们比较两者的替代方案。我们介绍了一种解决方案,直接优化频域网络中的分离准则。除了语音分离的客观和主观的测量,我们评估分离性能的语音识别任务以及。我们研究了远场数据(更类似于自然的音频流)的语音分离问题,并利用频谱,空间和扬声器位置信息开发了频域和时域分离器的多通道解决方案。对于我们的实验,我们模拟了多通道空间混响WSJ 0 - 2 mix数据集。我们的实验结果表明,频谱图分离可以实现更好的网络设计的竞争力的性能。多通道框架也被证明可以相对提高单通道性能,WER和SDR分别达到+35.5%和+46%。
2019-07-23 cs.LG cs.SD eess.AS
TF-MLPNet: Tiny Real-Time Neural Speech Separation
Paul G. Allen School of Computer Science \& Engineering, University of Washington
TF-MLPNet是首个能在低功耗可听设备加速器上实时运行的语音分离网络,通过时频域交替全连接层与卷积处理,在GAP9上实现6毫秒音频块实时处理,运行时间较现有模型减少3.5-4倍。
2025-08-05 cs.LG cs.SD eess.AS
TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
本研究提出基于离散语音token的TokenSplit分离模型,采用Transformer架构,支持多任务训练与转录条件化,还可结合传统模型实现语音精细化,在分离及ASR等任务上表现优异。
2023-08-21 cs.LG cs.SD eess.AS
On Time Domain Conformer Models for Monaural Speech Separation in Noisy Reverberant Acoustic Environments
The University of Sheffield(谢菲尔德大学)
本文提出时域Conformer模型用于噪声混响环境下的单声道语音分离,通过子采样层提升效率,在WHAMR和WSJ0-2Mix基准上分别取得14.6 dB和21.2 dB的SISDR改进。
2023-10-09 cs.AI cs.LG cs.SD
Single-channel speech separation using Soft-minimum Permutation Invariant Training
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
语音分离的目标是从单个麦克风记录中提取多个语音源。最近,随着深度学习的进步和大数据集的可用性,语音分离已被制定为监督学习问题。这些方法旨在使用监督学习算法(通常是深度神经网络)来学习语音、扬声器和背景噪声的区分模式。监督语音分离中的一个长期存在的问题是为每个分离的语音信号找到正确的标签,称为标签排列歧义。置换歧义是指如何确定输出标签在分离的源和可用的单说话人语音标签之间的分配问题。需要找到最佳的输出标签分配来计算分离误差,该分离误差随后用于更新模型的参数。最近,排列不变训练(PIT)已被证明是一个很有前途的解决方案,在处理标签歧义问题。然而,PIT对输出标签分配的过度自信的选择导致了次优的训练模型。在这项工作中,我们提出了一个概率优化框架,以解决PIT在寻找最佳输出标签分配的效率低下。然后,我们提出的名为可训练软最小PIT的方法被用于与Permutation Invariant Training(PIT)语音分离方法相同的长短期记忆(LSTM)架构。实验结果表明,该方法在信噪比(SDR)和信号干扰比(SIR)上分别比传统的PIT语音分离方法(p值$ < 0.01$)提高了+1dB和+1.5dB。
2021-11-16 cs.LG cs.SD eess.AS
Continuous Speech Separation with Ad Hoc Microphone Arrays
Microsoft(微软)
语音分离对于多说话者语音识别是有效的。在阵列由空间分布的异步麦克风组成的自组织麦克风阵列设置下,必须克服额外的挑战,因为麦克风的几何形状和数量事先是未知的。已有的研究表明,神经网络具有时空交织结构,可以有效地利用自组织阵列的多通道信号。在本文中,我们进一步扩展这种方法,连续语音分离。介绍了几种技术,使真正的连续录音语音分离。首先,我们应用基于变换器的网络的时空建模的ad hoc阵列信号。此外,提出了两种方法,以减轻语音重复的问题,在单一的谈话者段,这似乎更严重的特设阵列的情况下。一种方法是用于减少模拟训练数据和真实记录之间的声学失配的设备失真模拟。另一种是说话人计数,检测单个说话人段并合并输出信号通道。AdHoc-LibiCSS是一个新的数据集,由多个不同设备获得的串联LibriSpeech话语的连续记录组成,实验结果表明,所提出的分离方法可以显着提高重叠语音的ASR准确性,并且对于单个说话者段的性能下降很少。
2021-03-03 cs.AI cs.LG cs.SD
Speech Separation with Pretrained Frontend to Minimize Domain Mismatch
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Shenzhen Research Institute of Big Data, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
本文提出自监督域不变预训练前端,通过孪生网络捕获混合数据共享线索,减少合成与真实数据域差距,提升语音分离质量。
2024-11-05 cs.LG cs.MM cs.SD
Single-Channel Speech Separation with Auxiliary Speaker Embeddings
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
本文提出了一种新的声源分离模型,将单声道语音信号分解为两个不同说话人的语音段。所提出的模型是一个基于残差块的神经网络,并使用学习的扬声器嵌入创建从额外的干净的上下文记录的两个扬声器作为输入,以帮助归因于不同的时间频率箱的两个扬声器。在实验中,我们表明,该模型在声源分离任务中产生良好的性能,并优于最先进的基线。具体来说,从具有挑战性的VoxCeleb数据集分离语音,所提出的模型产生4.79dB的信号失真比,8.44dB的信号伪影比和7.11dB的信号干扰比。
2019-06-24 cs.LG cs.SD eess.AS
SADDEL: Joint Speech Separation and Denoising Model based on Multitask Learning
National Taiwan University(国立台湾大学);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
在真实世界场景中收集的语音数据通常会遇到两个问题。首先,多个源可能同时存在,并且源的数量可能随时间而变化。其次,录音中背景噪声的存在是不可避免的。为了处理第一个问题,我们参考语音分离方法,该方法将语音从未知数量的说话者中分离出来。为了解决第二个问题,我们参考了语音去噪方法,该方法去除噪声分量并检索纯语音信号。已经提出了许多基于深度学习的语音分离和去噪方法,这些方法显示出有希望的结果。然而,很少有作品试图同时解决这些问题,尽管语音分离和去噪任务具有相似的性质。在这项研究中,我们提出了一个联合语音分离和去噪框架的基础上的多任务学习标准,同时解决这两个问题。实验结果表明,该框架不仅在语音分离和去噪任务上表现良好,而且在大多数情况下优于相关方法。
2020-05-20 cs.SD eess.AS
Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
单通道非特定人语音分离方法近年来取得了很大的进展。然而,这种方法的准确性、延迟和计算成本仍然不足。大多数以前的方法都是通过混合信号的时频表示来表达分离问题,这有几个缺点,包括信号的相位和幅度的解耦,用于语音分离的时频表示的次优性,以及计算频谱图的长延迟。为了解决这些缺点,我们提出了一个全卷积时域音频分离网络(Conv-TasNet),这是一个用于端到端时域语音分离的深度学习框架。Conv-TasNet使用线性编码器来生成语音波形的表示,该表示针对分离单个扬声器进行了优化。说话人分离是通过对编码器输出应用一组加权函数(掩码)来实现的。然后使用线性解码器将修改的编码器表示反转回波形。使用由堆叠的1-D扩张卷积块组成的时间卷积网络(TCN)来找到掩码,这允许网络对语音信号的长期依赖性进行建模,同时保持小的模型大小。所提出的Conv-TasNet系统在分离两个和三个扬声器混合物方面显着优于以前的时频掩蔽方法。此外,Conv-TasNet在两个扬声器语音分离中超过了几个理想的时频幅度掩模,这是通过客观失真测量和人类听众的主观质量评估来评估的。最后,Conv-TasNet具有更小的模型大小和更短的最小延迟,使其成为离线和实时语音分离应用的合适解决方案。
2019-05-15 cs.LG cs.SD eess.AS
TransMask: A Compact and Fast Speech Separation Model Based on Transformer
PVoice Technology Singapore(新加坡PVoice科技公司);National University of Singapore(新加坡国立大学)
语音分离是语音处理中的一个重要问题,其目标是从包含不同说话人语音的混合音频中分离并生成干净的语音。在序列到序列域的深度学习技术的支持下,最近的神经语音分离模型现在能够生成高度清晰的语音音频。为了使这些模型更实用,通过减少模型的大小和推理时间,同时保持高的分离质量,我们提出了一种新的基于变换的语音分离方法,称为TransMask。通过充分释放自我注意力对长期依赖异常的影响,我们证明了TransMask的大小比最先进的解决方案小60%以上,推理速度比最先进的解决方案快2倍以上。在合理的输入音频长度范围内,TransMask充分利用了推理过程中的并行性,实现了近似线性的推理时间。它在输出语音音频质量方面也优于现有解决方案,在Librimix基准测试中实现了16以上的SDR。
2021-02-19 cs.SD eess.AS
End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation
Microsoft Research(微软研究院)
ad-hoc麦克风语音分离中的一个重要问题是如何保证系统对麦克风位置和数量的鲁棒性。前者要求系统对于具有相同位置的麦克风的不同索引是不变的,而后者要求系统能够处理具有不同维度的输入。传统的基于优化的波束成形技术通过定义满足这些要求,而对于基于深度学习的端到端系统,这些约束并没有完全解决。在本文中,我们提出了变换-平均-级联(TAC),一个简单的设计范例的通道置换和数量不变的多通道语音分离。基于滤波器和总和网络(FaSNet),最近提出的端到端时域波束形成系统,我们展示了TAC如何显着提高分离性能在不同数量的麦克风在嘈杂的混响分离任务与ad-hoc阵列。此外,我们还表明,TAC也显着提高了分离性能与固定的几何阵列配置,进一步证明了所提出的范例在多麦克风语音分离的一般问题的有效性。
2020-03-27 cs.LG cs.SD eess.AS
TDFNet: An Efficient Audio-Visual Speech Separation Model with Top-down Fusion
Tsinghua University(清华大学);Chinese Institute for Brain Research(北京脑科学与类脑研究所)
本文提出基于 TDANet 的音视语音分离模型 TDFNet,通过自顶向下融合视觉信息,在 LRS2-2Mix 上以更少参数和 28% MACs 超越 CTCNet,指标最高提升 10%。
2024-01-25 cs.AI cs.SD eess.AS
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation
Microsoft Research(微软研究院);Aalborg University(奥尔堡大学)
我们提出了一种新的深度学习模型,它支持排列不变训练(PIT),用于说话人无关的多说话人语音分离,通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割(或聚类)问题的深度聚类技术不同,我们的模型优化了分离回归误差,忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题,该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信,基于PIT的改进最终可以解决鸡尾酒会问题,并使现实世界能够采用,例如,自动会议转录和多方人机交互,其中重叠语音是常见的。
2017-01-03 cs.CL cs.LG cs.SD
Study of the Performance of CEEMDAN in Underdetermined Speech Separation
本文通过Matlab和Noizeus数据库实验,研究CEEMDAN在欠定语音分离中的性能边界,得出其可去除部分噪声但无法分离多个语音信号的结论。
2024-11-18 cs.AI cs.SD eess.AS
Coarse-to-Fine Recursive Speech Separation for Unknown Number of Speakers
The Chinese University of Hong Kong(香港中文大学)
绝大多数语音分离方法都假设说话者的数量是预先已知的,因此它们特定于说话者的数量。相比之下,一个更现实和更具挑战性的任务是分离一个混合,其中说话人的数量是未知的。将说话人个数未知的语音分离问题转化为多通道源提取问题,提出了一种由粗到精的递归语音分离方法。该方法包括两个阶段,即递归线索提取和目标说话人提取。递归提示提取阶段确定需要执行多少次计算迭代,并通过监视混合中的统计数据来输出粗略提示语音。随着递归迭代次数的增加,失真的累积最终进入提取的语音和提醒。因此,在第二阶段,我们使用一个目标说话人提取网络提取一个精细的语音的基础上,粗目标线索和原始的无失真的混合。实验表明,该方法在不同数量的说话人的WSJ0数据集上取得了最佳的性能。此外,它很好地推广到一个看不见的大量发言者。
2022-03-30 cs.LG cs.SD eess.AS
Improving the transferability of speech separation by meta-learning
Graduate Institute of Computer Science and Information Engineering, National Taiwan University(国立台湾大学计算机科学与信息工程研究所);Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所)
语音分离的目的是从一个混合语音中分离出多个语音源。虽然语音分离在一些现有的英语语音分离基准上得到了很好的解决,但语音分离模型在训练过程中看不见的口音或语言上的通用性值得进一步研究。本文采用基于元学习的方法来提高语音分离模型的可移植性。通过基于元学习的方法,我们发现,仅使用具有一种口音(母语英语口音)的语音数据作为我们的训练数据,模型仍然可以适应语音口音档案中新的看不见的口音。我们将结果与人类额定的本地口音相似性进行了比较,结果表明,与典型的迁移学习方法相比,MAML方法的可迁移性与训练和测试阶段之间的数据相似性关系较小。此外,我们发现,模型可以处理不同的语言数据从CommonVoice语料库在测试阶段。最重要的是,当涉及到新口音、新说话者、新语言和嘈杂环境时,MAML方法优于典型的迁移学习方法。
2022-03-11 cs.SD eess.AS
Probabilistic Permutation Invariant Training for Speech Separation
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
单麦克风、与说话者无关的语音分离通常通过两个步骤来执行:(i)分离特定语音源,以及(ii)确定最佳输出标签分配以找到分离误差。第二步是训练用于语音分离的神经网络的主要障碍。最近提出的排列不变训练(PIT)解决了这个问题,通过确定输出标签分配,最大限度地减少分离误差。在这项研究中,我们证明了这种技术的一个主要缺点是输出标签分配的过度自信选择,特别是在训练的初始步骤中,当网络生成不可靠的输出时。为了解决这个问题,我们提出了概率PIT(Prob-PIT),它认为输出标签置换作为一个离散的潜在的随机变量具有均匀的先验分布。Prob-PIT定义了一个基于先验分布和所有排列的分离误差的对数似然函数;它通过最大化对数似然函数来训练语音分离网络。Prob-PIT可以通过用软最小值函数代替PIT的最小值函数来容易地实现。我们评估了TIMIT和CHiME数据集上的语音分离方法。实验结果表明,该方法在信号失真比和信号干扰比方面明显优于PIT。
2019-08-04 cs.LG cs.SD eess.AS
Online Binaural Speech Separation of Moving Speakers With a Wavesplit Network
Columbia University(哥伦比亚大学)
真实世界场景中的双耳语音分离通常涉及移动扬声器。当前的语音分离方法大多使用话语级排列不变训练(u-PIT)进行训练。然而,在推理时间中,输出的顺序可能随着时间的推移而不一致,特别是在长形式语音分离中。当扬声器在空间中不断移动时,这种被称为扬声器交换问题的情况甚至更成问题,因此对输出声道中扬声器的一致放置提出了挑战。在这里,我们描述了一个实时双耳语音分离模型的基础上Wavesplit网络,以减轻扬声器交换问题的移动扬声器分离。我们的模型从混合音频中计算每个时间帧的每个扬声器的扬声器嵌入,使用在线聚类聚合嵌入,并使用聚类质心作为扬声器配置文件来跟踪每个扬声器。混响,长形式的移动多说话人语音分离的实验结果表明,该方法是不太容易说话人交换,并实现与基于u-PIT模型与地面真值跟踪在分离精度和保留耳间线索的性能相当。
2023-03-13 cs.SD eess.AS
Towards Real-Time Single-Channel Speech Separation in Noisy and Reverberant Environments
McGill University(麦吉尔大学);CIRMMT(跨学科音乐媒体与技术中心);Microsoft Research(微软研究院)
本文提出一种低复杂度、资源高效的因果DNN级联架构,依次完成噪声抑制、分离和去混响,实现嘈杂混响环境下两个及以上说话人的实时单通道语音分离,性能可与大型离线模型SepFormer相媲美。
2023-04-17 cs.SD eess.AS
Analysis of impact of emotions on target speech extraction and speech separation
Brno University of Technology(布尔诺理工大学);NTT Corporation(日本电信电话株式会社)
近年来,语音盲分离和目标语音提取的性能有了很大的提高。然而,大多数工作集中在相对良好控制的条件下,例如,读演讲稿。在更现实的情况下,性能可能会降低。造成这种退化的因素之一可能是固有的扬声器可变性,如情绪,通常发生在现实的语音。在本文中,我们研究情绪对TSE和BSS的影响。我们创建了一个新的测试数据集的情绪混合物的评估TSE和BSS。该数据集结合了LibriSpeech和Ryerson情感语音和歌曲视听数据库(RAVDESS)。通过控制实验,分析不同情绪对BSS和TSE绩效的影响。我们观察到,BSS是相对强大的情绪,而TSE,它需要识别和提取的语音的目标扬声器,是更敏感的情绪。在比较说话人确认实验中,我们发现,识别目标说话人可能是特别具有挑战性的处理情感的语音。利用我们的研究结果,我们概述了未来可能的方向,可以提高BSS和TSE系统对情感语音的鲁棒性。
2022-08-15 cs.LG cs.SD eess.AS
End-to-End Multi-Channel Speech Separation
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Northwestern Polytechnical University(西北工业大学);Tencent AI Lab(腾讯人工智能实验室)
端到端的单通道语音分离方法已被研究最近,并显示出可喜的成果。本文扩展了已有的多通道语音分离方法,提出了一种新的端到端多通道语音分离模型。本文的主要贡献包括:1)在单神经网络结构中实现了一个集成的输入输出波形分离系统。2)我们将传统的短时傅立叶变换(STFT)和通道间相位差(IPD)重新表示为具有特殊核的时域卷积函数。3)我们进一步放松了这些固定的内核,使其可学习,这样整个架构就变成了纯粹的数据驱动,可以从端到端进行训练。我们在WSJ0远场语音分离任务中证明,由于可学习的空间特征,我们提出的端到端多通道模型显着提高了以前的端到端单通道方法和传统多通道方法的性能。
2019-05-28 cs.LG cs.SD eess.AS
Parrotron: An End-to-End Speech-to-Speech Conversion Model and its Applications to Hearing-Impaired Speech and Speech Separation
Google(谷歌)
我们描述了Parrotron,一种端到端训练的语音到语音转换模型,它将输入频谱图直接映射到另一个频谱图,而不使用任何中间离散表示。该网络由编码器、声谱图和音素解码器组成,随后是声码器以合成时域波形。我们证明,这个模型可以训练,以规范化语音从任何扬声器,无论口音,韵律和背景噪声,到一个单一的标准目标扬声器的声音与固定的口音和一致的发音和韵律。我们进一步表明,这种规范化模型可以适应于规范化的高度非典型的语音从聋人扬声器,从而显着提高可懂度和自然度,通过语音识别器和听力测试测量。最后,展示了该模型在其他语音任务上的实用性,我们表明,可以训练相同的模型架构来执行语音分离任务
2019-10-29 cs.SD eess.AS
Context-Aware Two-Step Training Scheme for Domain Invariant Speech Separation
针对语音分离模型跨域性能下降问题,提出由上下文提取器和分离器组成的上下文感知两阶段训练方案,并通过跨域实验证明其无需适配即可提升分离质量。
2025-03-16 cs.SD eess.AS
Continuous speech separation: dataset and analysis
Microsoft(微软)
本文介绍了一个数据集和协议,用于评估连续语音分离算法。语音分离的大多数现有研究使用人工混合语音话语的预分割信号,这些语音话语大多是\emph{fully}重叠的,并且基于信号失真比或类似的性能度量来评估算法。然而,在自然对话中,语音信号是连续的,包含重叠分量和无重叠分量。此外,基于信号的度量与自动语音识别(ASR)准确性具有非常弱的相关性。我们认为,这不仅使评估测试算法的实际相关性变得困难,而且还阻碍了研究人员开发可随时应用于实际场景的系统。在本文中,我们定义连续语音分离(CSS)作为一个任务,从一个\textit{continuous}音频流,其中包含多个话语是\emph{partially}重叠不同程度的生成一组非重叠的语音信号。一个新的真实记录的数据集,称为LibriCSS,是从LibriSpeech派生的,通过连接语料库的话语来模拟对话,并用远场麦克风捕获音频回放。一个基于Kaldi的ASR评估协议也建立了使用一个训练有素的多条件声学模型。通过使用这个数据集,最近提出的说话人无关的CSS算法的几个方面进行了研究。数据集和评估脚本可用于促进这一方向的研究。
2020-05-07 cs.LG cs.SD eess.AS
Remix-cycle-consistent Learning on Adversarially Learned Separator for Accurate and Stable Unsupervised Speech Separation
Waseda University(早稻田大学)
设计了一种新的语音分离网络学习算法,以无监督的方式显式地减少分离信号中的残留噪声和伪影。生成对抗网络是已知的有效构建分离网络时,观察到的信号的地面真相是不可访问的。尽管如此,针对分布到分布映射的弱目标使得学习不稳定并限制了它们的性能。本研究引入了混音周期一致性损失作为一个更合适的目标函数,并使用它来微调对抗学习源分离模型。混音周期一致性损失被定义为在麦克风处观察到的混合语音与通过交替分离混合声音并将其输出与另一组合进行混音的过程而获得的伪混合语音之间的差异。这种损失的最小化导致分离网络的输出中的失真的显式减少。与多通道语音分离的实验比较表明,该方法具有较高的分离精度和学习稳定性,可与监督学习相媲美。
2022-03-26 cs.SD eess.AS
Heterogeneous Separation Consistency Training for Adaptation of Unsupervised Speech Separation
Shanghai Normal University(上海师范大学)
近年来,有监督语音分离技术取得了很大的进展。然而,受监督训练性质的限制,大多数现有的分离方法都需要地面实况源,并且是在合成数据集上训练的。这种地面实况的依赖是有问题的,因为地面实况信号通常在真实条件下不可用。此外,在许多行业场景中,真实的声学特性与模拟数据集中的声学特性相差甚远。因此,当将有监督语音分离模型应用于实际应用时,其性能通常会显著下降。为了解决这些问题,在这项研究中,我们提出了一种新的分离一致性训练,称为SCT,利用现实世界的未标记的混合物,以迭代的方式改善跨域无监督语音分离,通过利用从异构(结构不同,但行为互补)模型获得的互补信息。SCT遵循一个框架,使用两个异构神经网络(HNN),以产生高置信度的伪标签的未标记的真实语音混合。然后更新这些标签,并用于改进HNN,以产生更可靠的一致分离结果,用于真实混合伪标记。为了最大限度地利用不同分离网络之间的大量互补信息,进一步提出了跨知识自适应。与模拟数据集一起,这些具有高置信度伪标签的真实混合物然后用于迭代地更新HNN分离模型。此外,我们发现通过简单的线性融合来组合异质分离输出可以进一步略微改善最终系统性能。
2022-08-06 cs.SD eess.AS
SPMamba: State-space model is all you need in speech separation
Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究院)
本文提出SPMamba语音分离方法,在TF-GridNet中以双向Mamba替换BLSTM,线性复杂度建模长程时频依赖,并在多个数据集上实现更优性能与更低复杂度。
2024-09-10 cs.AI cs.SD eess.AS
Multichannel Speech Separation with Narrow-band Conformer
Westlake University(西湖大学)
提出了一种基于窄带Conformer的多通道语音分离方法。该网络经过训练,可以自动利用窄带语音分离信息,例如多个说话者的空间矢量聚类。具体而言,在短时傅立叶变换(STFT)域中,网络独立地处理每个频率,并且由所有频率共享。对于一个频率,该网络输入多通道混合信号的STFT系数,并预测分离的语音信号的STFT系数。空间向量的聚类与自注意力机制在计算向量的相似性然后聚集相似向量的意义上共享类似的原理。因此,Conformer将特别适合于当前的问题。实验结果表明,所提出的窄带Conformer实现了更好的语音分离性能比其他国家的最先进的方法,由一个大的利润。
2022-07-01 cs.SD eess.AS
Utterance-level Permutation Invariant Training with Latency-controlled BLSTM for Single-channel Multi-talker Speech Separation
Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);North China Power Engineering CO., LTD. of China Power Engineering Consulting Group(中国电力工程顾问集团华北电力设计院有限公司)
语音级置换不变训练(uPIT)在单通道多人语音分离任务中取得了可喜的进展。长短期记忆(LSTM)和双向LSTM(BLSTM)被广泛用作uPIT的分离网络,即uPIT-LSTM和uPIT-BLSTM。uPIT-LSTM具有更低的延迟但性能更差,而uPIT-BLSTM具有更好的性能但延迟更高。在本文中,我们提出使用延迟控制的BLSTM(LC-BLSTM)在推理过程中,以实现低延迟和高性能的语音分离。为了寻找更好的BLSTM分离网络的训练策略,比较了块级PIT(cPIT)和uPIT。实验结果表明,当在推理过程中使用LC-BLSTM时,uPIT的性能优于cPIT。研究还发现,语块间说话人跟踪(ST)可以进一步提高uPIT-LC-BLSTM的分离性能。在WSJ 0双说话人混合语音分离实验中,uPIT-BLSTM和uPIT-LC-BLSTM的信号失真比(SDR)的绝对差距减小到0.7dB以内。
2019-12-25 cs.LG cs.SD eess.AS
Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis
Columbia University(哥伦比亚大学)
该研究针对语音分离、识别、合成三类任务提出Mamba及混合模型,对比相近规模Transformer发现,长语音下Mamba效率更优、性能相当或更好,短语音及文语联合建模场景下表现较差,二者优劣取决于具体问题与模型。
2024-07-13 cs.LG cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Dual-Path Transformer Network: Direct Context-Aware Modeling for End-to-End Monaural Speech Separation
Jiangsu University(江苏大学);Jiangsu Engineering Research Center of big data ubiquitous perception and intelligent agriculture applications(江苏省大数据泛在感知与智能农业应用工程研究中心)
主要的语音分离模型是基于复杂的递归或卷积神经网络,其对语音序列进行建模,间接地以上下文为条件,例如通过递归神经网络中的许多中间状态传递信息,从而导致次优分离性能。在本文中,我们提出了一个双路Transformer网络(DPTNet)的端到端的语音分离,它引入了直接的上下文感知的语音序列的建模。通过引入一种改进的Transformer,语音序列中的元素可以直接交互,这使得DPTNet可以对语音序列进行直接的上下文感知建模。改进的Transformer在我们的方法中学习的顺序信息的语音序列的位置编码,通过将一个递归神经网络到原来的Transformer。此外,双路径的结构,使我们的模型非常长的语音序列建模的效率。在基准数据集上进行的大量实验表明,我们的方法优于当前最先进的方法(在公共WSj 0 - 2 mix数据语料库上为20.6 dB SDR)。
2020-08-14 cs.SD eess.AS
VarArray: Array-Geometry-Agnostic Continuous Speech Separation
Microsoft(微软)
基于麦克风阵列的连续语音分离技术在解决自然会话语音重叠问题中具有广阔的应用前景。提出了一种与阵列几何无关的语音分离神经网络模型VarArray。该模型适用于任何数量的麦克风,而无需再训练,同时利用输入通道之间的非线性相关性。所提出的方法适应不同的元素,分别提出了之前,包括变换-平均-级联,构象语音分离,和通道间相位差,并结合它们在一个有效的和有凝聚力的方式。大规模的评估进行了两个真正的会议转录任务,通过使用一个完全开发的转录系统,不需要先验知识,如参考分割,这使我们能够衡量的影响,连续语音分离系统可以在现实的设置。所提出的模型优于以前的方法,阵列几何不可知建模的所有考虑的几何配置,实现asclite为基础的说话人不可知的单词错误率分别为17.5%和20.4%的AMI开发和评估集,在端到端的设置使用没有地面实况分割。
2021-10-26 cs.CL cs.LG cs.SD
Training Noisy Single-Channel Speech Separation With Noisy Oracle Sources: A Large Gap and A Small Step
The Johns Hopkins University(约翰斯·霍普金斯大学);Chinese Academy of Sciences(中国科学院)
随着单通道语音分离系统性能的提高,人们希望能够在比开发初始系统时所使用的干净近场语音更具挑战性的条件下进行训练。在训练深度学习分离模型时,需要对地面实况进行训练。因此,在嘈杂条件下的训练需要使用合成添加到干净语音的噪声,防止将域内数据用于嘈杂条件任务,或者使用嘈杂语音的混合物进行训练,需要网络额外分离噪声。我们证明了噪声的相对不可分割性,这种嘈杂的语音模式导致系统性能的显着下降。我们还提出了一个受SI-SDR启发的训练目标,该目标试图利用噪声的不可分离性来隐式地划分信号并折扣噪声分离错误,从而能够训练具有噪声Oracle源的更好的分离系统。
2021-02-22 cs.SD eess.AS
Analysis of Speech Separation Performance Degradation on Emotional Speech Mixtures
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学)
本文分析了情感语音对语音分离模型性能退化的影响,发现即使域外性能强的Sepformer在强情感混合物上仍退化高达5.1 dB SI-SDRi,强调了真实应用中考虑情感的必要性。
2023-09-14 cs.SD eess.AS
Discriminative Learning for Monaural Speech Separation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
深度聚类(DC)和话语级排列不变训练(uPIT)已被证明有希望用于说话者无关的语音分离。DC通常被表述为两步过程:嵌入学习和嵌入聚类,这导致复杂的分离管道和直接优化实际分离目标的巨大障碍。对于uPIT,它只最小化所选的具有最小均方误差的排列,而不将其与其他排列区分开。在本文中,我们提出了一种使用深度嵌入特征的非特定人语音分离的判别学习方法。首先,训练DC网络提取深嵌入特征,这些特征包含每个源的信息,并且在区分每个目标说话人方面具有优势。然后,这些特征被用作uPIT的输入以直接分离不同源。最后,联合训练uPIT和DC,直接优化实际分离目标。此外,为了最大化每个排列的距离,应用判别学习来微调整个模型。我们的实验是在WSJ 0 - 2 mix数据集上进行的。实验结果表明,本文提出的模型在非特定人语音分离中取得了比DC和uPIT更好的性能。
2019-07-23 cs.LG cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而,这些研究仍然远远没有足够的泛化能力,真正的场景。在这项工作中,我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中,我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后,它从推断的说话人的信息作为条件,提取他们的语音源。该模型利用整体观测中的说话人信息进行预测,有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当,而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
EDSep: An Effective Diffusion-Based Method for Speech Source Separation
Jiangsu University(江苏大学);Northwestern Polytechnical University(西北工业大学)
提出基于SDE得分匹配的单通道语音分离方法EDSep,通过新型去噪器函数和随机采样器优化训练与采样效率,在多个数据集上性能优于现有扩散和判别模型。
2025-01-27 cs.SD eess.AS
Separating Long-Form Speech with Group-Wise Permutation Invariant Training
Microsoft(微软)
多人会话语音处理在会议记录等应用中引起了广泛的关注。通常需要语音分离来处理在对话中经常观察到的重叠语音。虽然原始的基于话语级置换不变训练的连续语音分离方法已被证明在各种条件下都是有效的,但它缺乏利用话语的长跨度关系的能力,并且由于高度重叠的滑动窗口而计算效率低下。为了克服这些缺点,我们提出了一种新的训练方案,名为Group-PIT,它允许直接训练的语音分离模型的长形式的语音与低计算成本的标签分配。研究了两种不同的基于Group-PIT的语音分离方法,包括直接的长跨度语音分离和基于长跨度跟踪的短跨度语音分离。在模拟会议类型数据上的实验表明了本文方法的有效性,特别是在处理超长语音输入时。
2021-11-17 cs.SD eess.AS
CasNet: Investigating Channel Robustness for Speech Separation
North Co., Ltd.(诺斯有限公司);Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息科技创新研究中心)
训练和测试条件之间的记录通道失配已被证明是语音分离的严重问题。这种情况大大降低了分离性能,不能满足日常使用的要求。在这项研究中,继承我们以前构建的TAT-2 mix语料库的使用,我们通过提出一个通道感知音频分离网络(CasNet)来解决通道失配问题,CasNet是一个用于端到端时域语音分离的深度学习框架。CasNet在TasNet之上实现。通道编码器产生的通道嵌入(表征多个话语的混合中的通道信息)通过薄膜技术引入到分离模块中。通过两种训练策略,我们探索了信道嵌入可能扮演的两个角色:1)现实生活中的噪声干扰,使模型更加鲁棒,或2)指导,指示分离模型保留所需的信道信息。在TAT-2 mix上的实验结果表明,使用这两种训练策略训练的CasNet优于不使用通道嵌入的TasNet基线。
2022-10-27 cs.AI cs.CL cs.LG
A Computationally Efficient and Practically Feasible Two Microphones Blind Speech Separation Method
传统上,盲语音分离技术在计算上是昂贵的,因为它们在每个时间帧索引处更新去混合矩阵,使得它们在许多实时应用中不切实际。本文采用一种稳健的数据驱动双麦克风声源定位方法作为准则,以降低独立向量分析(IVA)盲语音分离(BSS)方法的计算复杂性。IVA用于分离卷积混合的语音和噪声源。通过在智能手机设备上实现该方法来分离助听器应用中真实场景中的语音和噪声,证明了该方法的实际可行性。客观和主观测试的实验结果表明,开发的方法在许多现实世界的应用中的实际可用性。
2018-12-10 cs.SD eess.AS
Stabilizing Label Assignment for Speech Separation by Self-supervised Pre-training
National Taiwan University(国立台湾大学);University of Edinburgh(爱丁堡大学)
语音分离已经得到了很好的发展,非常成功的排列不变训练(PIT)的方法,虽然频繁的标签分配切换发生在PIT训练过程中仍然是一个问题,当需要更好的收敛速度和可实现的性能。在本文中,我们建议进行自我监督的预训练,以稳定训练语音分离模型中的标签分配。在几种自监督方法、几种典型的语音分离模型和两个不同的数据集上的实验表明,如果选择适当的自监督方法,可以取得很好的效果。
2021-08-22 cs.CL cs.SD eess.AS
Neural Spatio-Temporal Beamformer for Target Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
基于神经网络的语音分离和增强方法虽然能取得较好的客观效果,但不可避免地会产生非线性语音失真,这对自动语音识别(ASR)是有害的。另一方面,最小方差无失真响应(MVDR)波束形成器与NN预测的面具,虽然可以显着减少语音失真,具有有限的降噪能力。在本文中,我们提出了一个多抽头MVDR波束形成器与复值掩模语音分离和增强。与现有技术的基于NN掩模的MVDR波束形成器相比,除了现有技术中已经利用的麦克风间相关性之外,多抽头MVDR波束形成器还利用帧间相关性。进一步的改进包括用复值掩码替换实值掩码和复掩码NN的联合训练。对我们的多模态多通道目标语音分离和增强平台的评估表明,我们提出的多抽头MVDR波束形成器相对于现有技术提高了ASR准确性和感知语音质量。
2020-07-31 cs.SD eess.AS
CSLNSpeech: solving extended speech separation problem with the help of Chinese sign language
Southeast University(东南大学);Univ Rennes(雷恩大学);INSERM(法国国家健康与医学研究院);Centre de Recherche en Information Biomédicale Sino-français (CRIBs)(中法生物医学信息研究中心)
本研究提出融合音频、人脸、手语三模态的CSLNSpeech模型解决扩展语音分离问题,构建对应大规模数据集,实验证明其性能优于常规视听系统,且手语可单独监督分离任务,框架通用且具竞争力。
2023-11-03 cs.CV cs.SD eess.AS
Online speaker diarization of meetings guided by speech separation
Institut Polytechnique de Paris(巴黎综合理工学院)
针对重叠语音干扰及语音分离模型难适配真实会议数据的问题,提出语音分离引导的在线说话人日志方案,经AMI语料微调后在AMI headset mix上达SOTA,重叠语音段表现尤佳。
2024-01-30 cs.LG cs.SD eess.AS
Investigation of Practical Aspects of Single Channel Speech Separation for ASR
Microsoft Corporation(微软公司);Harbin Institute of Technology(哈尔滨工业大学)
语音分离由于其处理重叠语音的能力以及其与诸如自动语音识别(ASR)的下游任务相结合的灵活性而被成功地用作会话转录系统的前端处理模块。然而,语音分离模型经常引入目标语音失真,导致次优的字错误率(WER)。在本文中,我们描述了我们的努力,以提高单通道语音分离系统的性能。具体来说,我们调查了一个两阶段的训练计划,首先适用于预训练的特征级优化标准,其次是一个面向ASR的优化标准,使用端到端(E2E)语音识别模型。同时,为了保持模型的轻量级,我们引入了一种改进的师生学习技术来压缩模型。通过结合这些方法,与LibriCSS数据集上先前的最先进结果相比,我们使用小于10M参数的模型分别实现了2.70%和0.77%的绝对平均WER改进,用于话语评估和连续评估
2021-07-05 cs.SD eess.AS
Multi-accent Speech Separation with One Shot Learning
National Taiwan University(国立台湾大学)
语音分离是近年来语音处理领域研究的热点问题。然而,还没有太多的工作研究多口音语音分离的情况。未知说话人的新口音和噪声引起的域失配问题,不能很容易地解决传统的联合训练方法。因此,我们应用MAML和FOMAML来解决这个问题,并在几乎所有看不见的口音上获得了比联合训练更高的平均Si-SNRi值。这证明了这两种方法确实有能力生成经过良好训练的参数,以适应新说话人和口音的语音混合。此外,我们发现,FOMAML获得类似的性能相比,MAML,同时节省了大量的时间。
2021-08-05 cs.SD eess.AS