An empirical study of Conv-TasNet
Dolby Laboratories(杜比实验室)
Conv-TasNet是最近提出的基于波形的深度神经网络,在语音源分离方面实现了最先进的性能。它的架构由一个可学习的编码器/解码器和一个在这个学习空间之上操作的分离器组成。已经对Conv-TasNet提出了各种改进。然而,他们主要关注分隔符,将其编码器/解码器作为(浅)线性运算符。在本文中,我们对Conv-TasNet进行了实证研究,并提出了一种基于其(深度)非线性变体的编码器/解码器增强。此外,我们对更大,更多样化的LibriTTS数据集进行了实验,并调查了在更大的数据集上训练时所研究模型的泛化能力。我们提出了跨数据集评估,包括评估WSJ 0 - 2 mix,LibriTTS和VCTK数据库的分离。我们的研究结果表明,增强的编码器/解码器可以提高平均SI-SNR性能超过1 dB。此外,我们还深入了解了Conv-TasNet的泛化能力以及编码器/解码器改进的潜在价值。
2020-02-24 cs.CV cs.LG cs.SD
A comprehensive study of speech separation: spectrogram vs waveform separation
Tencent(腾讯)
在过去的几年里,语音分离已经被广泛研究用于单通道近距离麦克风录音;开发的解决方案大多是在频域中。最近,针对单通道数据引入了原始音频波形分离网络(TasNet),与频域中的最新解决方案相比,该网络实现了高的Si-SNR(尺度不变源噪声比)和SDR(源失真比)。在这项研究中,我们将有效成分的TasNet到频域分离方法。我们比较两者的替代方案。我们介绍了一种解决方案,直接优化频域网络中的分离准则。除了语音分离的客观和主观的测量,我们评估分离性能的语音识别任务以及。我们研究了远场数据(更类似于自然的音频流)的语音分离问题,并利用频谱,空间和扬声器位置信息开发了频域和时域分离器的多通道解决方案。对于我们的实验,我们模拟了多通道空间混响WSJ 0 - 2 mix数据集。我们的实验结果表明,频谱图分离可以实现更好的网络设计的竞争力的性能。多通道框架也被证明可以相对提高单通道性能,WER和SDR分别达到+35.5%和+46%。
2019-07-23 cs.LG cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
SpeakerBeam-SS: Real-time Target Speaker Extraction with Lightweight Conv-TasNet and State Space Modeling
NTT Corporation(NTT公司)
本文提出融合 SSM 的轻量级因果 Conv-TasNet 架构,并通过增大前端窗长、帧移及编码器过参数化降低计算量,在保持性能的同时将实时因子降低 78%。
2024-07-01 cs.SD eess.AS eess.SP
Toward Speech Separation in The Pre-Cocktail Party Problem with TasTas
Fujitsu Research and Development Center(富士通研发中心);Harbin Institute of Technology(哈尔滨工业大学)
本文提出使用TasTas模型端到端解决预鸡尾酒会问题的单声道语音分离,在WSJ0-5mix上取得10.41dB SDR提升,采用数据重混增强后达11.14dB,并开源实现便于复现。
2020-10-28 cs.SD eess.AS
LaFurca: Iterative Refined Speech Separation Based on Context-Aware Dual-Path Parallel Bi-LSTM
Fujitsu Research and Development Center(富士通研究开发中心);Harbin Institute of Technology(哈尔滨工业大学)
具有双路径双向长短期记忆(BiLSTM)块的深度神经网络已被证明在序列建模中非常有效,特别是在语音分离中,例如DPRNN-TasNet \cite{luo2019dual}。在本文中,我们提出了一些改进的双路BiLSTM网络的端到端的方法来单声道语音分离。首先,引入了具有并行内BiLSTM和并行间BiLSTM组件的双路径网络,以减少不同分支之间的性能子方差。其次,我们提出使用全局上下文感知的inter-intra交叉并行BiLSTM来进一步感知全局上下文信息。最后,提出了一种螺旋多级双路BiLSTM迭代细化前几级的分离结果。所有这些网络都将两个说话者的混合话语映射到两个单独的话语,每个话语只包含一个说话者的声音。为此,我们提出了训练的网络,直接优化的话语水平的标度不变的信号失真比(SI-SDR)的排列不变的训练(PIT)风格。在公开的WSJ 0 - 2 mix数据集上的实验结果表明,该网络在说话人分离任务上的性能得到了提高,其中SDR提高了20.55dB,SI-SDR提高了20.35dB,PESQ提高了3.69,ESTOI提高了94.86%.我们已经在https://github.com/Shiziqiang/dual-path-RNNs-DPRNNs-based-speech-separation中开源了我们对DPRNN-TasNet的重新实现,我们的LaFurca是基于DPRN…
2020-10-27 cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University(哥伦比亚大学)
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出,因此丢弃了空间声源定位所需的空间线索。然而,保留空间信息在许多旨在准确呈现声学场景的应用中是重要的,例如在助听器和增强现实(AR)中。在这里,我们提出了一种语音分离算法,保留分离的声源的耳间线索,可以实现低延迟和高保真度,因此能够实时修改的声学场景。基于时域音频分离网络(TasNet),一个单通道时域语音分离系统,可以在实时实现,我们提出了一个多输入多输出(MIMO)端到端的TasNet扩展,以双耳混合音频作为输入,同时分离目标扬声器在两个通道。实验结果表明,所提出的端到端MIMO系统能够显著提高分离性能,并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
Multi-Scale Feature Fusion Transformer Network for End-to-End Single Channel Speech Separation
近年来,时域音频分离网络(TasNets)的研究在语音分离方面取得了很大的进展。最具代表性的TasNets之一是采用双路径分段方法的网络。然而,称为DPRNN的原始模型在网络的所有层中使用固定的特征尺寸和不变的段大小。本文在传统双通道结构的基础上,提出了一种多尺度特征融合Transformer网络(MSFFT-Net)用于单通道语音分离。不同于传统的双路径结构,其中只有一个处理路径存在,采用几个迭代块与交替块内和块间操作来捕获本地和全局上下文信息,建议MSFFT-Net具有多个并行处理路径,其中的特征信息可以在多个并行处理路径之间交换。实验结果表明,基于多尺度特征融合结构的网络在WSJ 0 - 2 mix上取得了比原双路径模型更好的结果,MSFFT-3 P的SI-SNRi得分为20.7dB(提高1.47%),MSFFT-2 P的SI-SNRi得分为21.0dB(提高3.45%),在WSJ 0 - 2 mix上实现了SOTA,无需任何数据增强方法.
2022-12-14 cs.SD eess.AS
CasNet: Investigating Channel Robustness for Speech Separation
North Co., Ltd.(诺斯有限公司);Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息科技创新研究中心)
训练和测试条件之间的记录通道失配已被证明是语音分离的严重问题。这种情况大大降低了分离性能,不能满足日常使用的要求。在这项研究中,继承我们以前构建的TAT-2 mix语料库的使用,我们通过提出一个通道感知音频分离网络(CasNet)来解决通道失配问题,CasNet是一个用于端到端时域语音分离的深度学习框架。CasNet在TasNet之上实现。通道编码器产生的通道嵌入(表征多个话语的混合中的通道信息)通过薄膜技术引入到分离模块中。通过两种训练策略,我们探索了信道嵌入可能扮演的两个角色:1)现实生活中的噪声干扰,使模型更加鲁棒,或2)指导,指示分离模型保留所需的信道信息。在TAT-2 mix上的实验结果表明,使用这两种训练策略训练的CasNet优于不使用通道嵌入的TasNet基线。
2022-10-27 cs.AI cs.CL cs.LG
Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis
Columbia University(哥伦比亚大学)
该研究针对语音分离、识别、合成三类任务提出Mamba及混合模型,对比相近规模Transformer发现,长语音下Mamba效率更优、性能相当或更好,短语音及文语联合建模场景下表现较差,二者优劣取决于具体问题与模型。
2024-07-13 cs.LG cs.SD eess.AS
Effective Low-Cost Time-Domain Audio Separation Using Globally Attentive Locally Recurrent Networks
Tencent AI Lab(腾讯人工智能实验室)
时域音频分离网络(TasNets)的研究为语音分离带来了巨大的成功。然而,传统的TasNet难以满足工业应用中的内存和延迟限制。在这方面,我们设计了一个低成本的高性能的架构,即全球关注本地复发(GALR)网络。与双路径RNN(DPRNN)一样,我们首先将特征序列分割为2D片段,然后沿着片段内和片段间维度处理序列。我们的主要创新之处在于,在沿段间维度循环处理的特征之上,GALR将自注意机制应用于沿段间维度的序列,其聚合上下文感知信息,并且还实现并行化。我们的实验表明,GALR是一个明显更有效的网络比以前的工作。一方面,仅用1.5M参数,它以低得多的成本实现了相当的分离性能,相对于DPRNN,运行时内存减少36.1%,计算操作减少49.4%。另一方面,在与DPRNN相当的模型大小中,GALR在三个数据集中的表现一直优于DPRNN,特别是在基准WSJ 0 - 2 mix任务中,SI-SNRi的绝对改善幅度为2.4dB。
2021-01-13 cs.AI cs.LG cs.SD
A comparison of handcrafted, parameterized, and learnable features for speech separation
Northwestern Polytechnical University(西北工业大学)
声学特征的设计是语音分离的重要环节。它可以大致分为三类:手工制作的,参数化的和可学习的功能。其中,可学习特征,即以端到端的方式与分离网络联合训练,成为现代语音分离研究的新趋势,例如卷积时域音频分离网络(Conv-Tasnet),而手工和参数化特征在最近的研究中也显示出竞争力。然而,这三种声学特征之间的系统比较尚未进行。在本文中,我们比较了它们的框架Conv-Tasnet通过设置其编码器和解码器具有不同的声学特征。我们还推广了手工制作的多相伽玛滤波器组(MPGTF),一个新的参数化多相伽玛滤波器组(ParaMPGTF)。在WSJ 0 - 2 mix语料库上的实验结果表明:(i)如果解码器是可学习的,那么将编码器设置为STFT、MPGTF、ParaMPGTF和可学习特征会导致相似的性能;(ii)当STFT、MPGTF和ParaMPGTF的伪逆变换用作解码器时,所提出的ParaMPGTF性能优于其他两个手工特征。
2021-01-14 cs.SD
Speech Separation Based on Multi-Stage Elaborated Dual-Path Deep BiLSTM with Auxiliary Identity Loss
Fujitsu Research and Development Center(富士通研发中心);Harbin Institute of Technology(哈尔滨工业大学)
具有双路径双向长短期记忆(BiLSTM)块的深度神经网络已被证明在序列建模中非常有效,特别是在语音分离中。这项工作研究了如何扩展双路径BiLSTM,以产生一种新的最先进的方法,称为TasTas,用于多说话者单声道语音分离(也称为鸡尾酒会问题)。TasTas介绍了两个简单但有效的改进,一个是迭代的多级细化方案,另一个是通过分离语音和原始语音之间的说话人身份一致性损失来校正具有不完美分离的语音,以提高基于双路径BiLSTM的网络的性能。TasTas将两个说话者的混合话语映射为两个单独的话语,其中每个话语仅包含一个说话者的声音。在WSJ 0 - 2 mix数据集上的实验结果表明,该网络在说话人分离方面有较大的性能提升,SDR提高了20.55dB,SI-SDR提高了20.35dB,PESQ提高了3.69,ESTOI提高了94.86%.我们在这里开源了我们对DPRNN-TasNet的重新实现(https://github.com/Shiziqiang/dual-path-RNNs-DPRNNs-based-speech-separation),我们的TasTas是基于DPRNN-TasNet的这个实现的,相信本文的结果可以很容易地复制。
2020-08-06 cs.SD eess.AS
Real-time Low-latency Music Source Separation using Hybrid Spectrogram-TasNet
L-Acoustics(L-声学)
本文针对实时低延迟音乐源分离需求,提出HS-TasNet混合频谱图与时域波形优势,在23 ms延迟下于MusDB上取得4.65 SDR,额外数据训练后提升至5.55。
2024-02-27 cs.LG cs.SD eess.AS
On TasNet for Low-Latency Single-Speaker Speech Enhancement
Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
近年来,语音处理算法取得了巨大的进步,主要是由于深度学习的复兴。这对于语音分离尤其如此,其中时域音频分离网络(TasNet)已经导致了显着的改进。然而,对于单说话者语音增强的相关任务,这是显而易见的重要性,它仍然是未知的,如果TasNet架构同样成功。在本文中,我们表明,TasNet提高了最先进的语音增强,并实现了最大的增益调制噪声源,如语音。此外,我们表明,TasNet学习一个有效的内域表示,其中目标和噪声信号分量是高度可分离的。对于干扰语音信号的噪声来说尤其如此,这可以解释为什么TasNet在分离任务中表现如此出色。此外,我们表明,TasNet表现不佳的大帧跳数和猜测,混叠可能是这种性能下降的主要原因。最后,我们证明了TasNet始终优于最先进的单扬声器语音增强系统。
2021-03-27 cs.SD eess.AS
One Shot Learning for Speech Separation
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
尽管语音分离模型最近取得了成功,但它们在面对不同人群或嘈杂环境时无法正确分离源。为了解决这个问题,我们提出将元学习应用于语音分离任务。我们的目标是找到一个元初始化模型,它可以通过只看到这些人生成的一个混合来快速适应新的说话者。在本文中,我们使用模型不可知元学习(MAML)算法和几乎没有内部循环(ANIL)算法在Conv-TasNet来实现这一目标。实验结果表明,该模型不仅能适应新的说话人集合,而且能适应噪声环境。此外,我们发现编码器和解码器作为特征重用层,而分离器是特定于任务的模块。
2021-05-03 cs.SD eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一个新的框架,共同执行三个任务:说话人日记,语音分离,说话人计数。我们提出的框架集成了基于端到端神经日记化(EEND)模型的说话人日记化,基于编码器-解码器的吸引子(EDA)的说话人计数,以及使用Conv-TasNet的语音分离。此外,我们提出了一个多个1x 1卷积层架构,用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术,用于细化分离的语音信号与获得的扬声器diarization信息,以改善联合框架。使用LibriMix数据集的实验表明,我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线,并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
Dual-path RNN: efficient long sequence modeling for time-domain single-channel speech separation
Microsoft Research(微软研究院)
最近在基于深度学习的语音分离方面的研究已经证明了时域方法优于传统的基于时频的方法。与时频域方法不同,时域分离系统通常接收由大量时间步长组成的输入序列,这为建模极长序列带来了挑战。由于优化困难,传统的递归神经网络(RNN)无法有效地对如此长的序列进行建模,而一维卷积神经网络(1-D CNN)在其感受野小于序列长度时无法执行话语级序列建模。在本文中,我们提出了双路径递归神经网络(DPRNN),这是一种简单而有效的方法,用于在深层结构中组织RNN层,以建模超长序列。DPRNN将长序列输入分成较小的块,并迭代地应用块内和块间操作,其中输入长度可以与每个操作中的原始序列长度的平方根成比例。实验表明,通过用DPRNN代替1-D CNN,并在时域音频分离网络(TasNet)中应用样本级建模,在WSJ 0 - 2 mix上实现了新的最先进的性能,模型比以前的最佳系统小20倍。
2020-03-27 cs.LG cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室);Brno University of Technology(布尔诺理工大学)
目标语音提取是指在给定目标说话人信息的情况下,从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam,它利用目标说话者的自适应话语来提取他/她的声音特征,然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案,因为它能够跨话语跟踪目标说话人的语音,并实现有希望的语音提取性能。然而,当说话人具有相似的语音特征时,例如在同性混合中,它有时会失败,因为很难区分目标说话人和干扰说话人。在本文中,我们调查的战略,提高扬声器的区分能力的SpeakerBeam。首先,我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络(TasNet),它已经实现了最先进的语音分离性能。此外,我们还研究了(1)当麦克风阵列记录可用时,使用空间特征来更好地区分说话者,(2)添加辅助说话者识别损失,以帮助学习更多有区别的语音特征。我们的实验表明,这些策略大大提高了语音提取的性能,特别是对于同性混合,并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment
在日常的听音环境中,语音常常受到背景噪声、室内混响和扬声器干扰的影响而失真。随着深度学习方法的发展,单耳多说话人语音分离研究取得了很大进展。然而,在这方面的研究大多集中在一个简单的问题设置的实验室环境中,没有考虑背景噪声和房间混响。在本文中,我们提出了一个基于conv-TasNet的两阶段模型,分别处理噪声和干扰扬声器的显着影响,其中使用深度扩展时间卷积网络(TCN)依次进行增强和分离。此外,我们提出了一种新的目标函数,称为最佳尺度不变信噪比(OSI-SNR),它在任何情况下都优于原来的SI-SNR。通过与OSI-SNR联合训练两阶段模型,我们的算法大大优于一阶段分离基线。
2020-08-01 cs.SD eess.AS
On Time Domain Conformer Models for Monaural Speech Separation in Noisy Reverberant Acoustic Environments
The University of Sheffield(谢菲尔德大学)
本文提出时域Conformer模型用于噪声混响环境下的单声道语音分离,通过子采样层提升效率,在WHAMR和WSJ0-2Mix基准上分别取得14.6 dB和21.2 dB的SISDR改进。
2023-10-09 cs.AI cs.LG cs.SD
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China(中国科学技术大学);iFlytek Research(科大讯飞研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种分离引导的说话人日志化(SGSD)方法,充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化(CSD)方法不能很好地处理重叠的语音段,我们调查,在这项研究中,基于分离的说话人日记化(SSD),它固有的潜力,以处理说话人重叠区域。我们的初步分析表明,最先进的基于Conv-TasNet的语音分离,这是相当不错的模拟数据,是不稳定的,在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时,基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言,几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音(CTS)数据上的实验表明,所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能,产生的相对日记错误率降低20.2%和20.8%的开发集和评估集,分别。
2021-07-06 cs.SD eess.AS
Dual-path Mamba: Short and Long-term Bidirectional Selective Structured State Space Models for Speech Separation
Columbia University(哥伦比亚大学)
本文提出双路径Mamba,用选择性状态空间模型替代Transformer进行语音分离,同时建模语音信号的短期与长期双向依赖,在WSJ0-2mix上以更小模型规模超越DPRNN、WaveSplit和Sepformer。
2024-05-01 cs.SD eess.AS
Sandglasset: A Light Multi-Granularity Self-attentive Network For Time-Domain Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
领先的单通道语音分离(SS)模型之一是基于具有双路径分段技术的TasNet,其中每个段的大小在所有层中保持不变。相比之下,我们的主要发现是,多粒度的功能是必不可少的,以提高上下文建模和计算效率。我们引入了一种具有新颖沙漏形状的自我关注网络,即Sandglasset,它以显著较小的模型大小和计算成本提高了最先进的(SOTA)SS性能。沿着Sandglasset内部的每个块向前,特征的时间粒度逐渐变得更粗,直到达到网络块的一半,然后朝着原始信号水平逐渐变得更细。我们还揭示了具有相同粒度的特征之间的残余连接对于通过瓶颈层后保留信息是至关重要的。实验表明,我们的Sandglasset只有2.3M的参数已经取得了最好的结果在两个基准SS数据集-WSJ 0 - 2 mix和WSJ 0 - 3 mix,其中SI-SNRi分数已分别提高了绝对0.8 dB和2.4 dB,与以前的SOTA结果相比。
2021-03-08 cs.AI cs.LG cs.SD
Nonlinear Residual Echo Suppression Based on Multi-stream Conv-TasNet
Nanjing University(南京大学)
由于回波信号与远端信号之间的非线性关系,线性自适应滤波器不能完全去除回波信号。通常需要后处理模块来进一步抑制回声。在本文中,我们提出了一种残余回声抑制方法的基础上修改的全卷积时域音频分离网络(Conv-TasNet)。采用线性声学回声消除系统的残留信号和自适应滤波器的输出来形成Conv-TasNet的多个流,从而在保持整个系统的较低延迟的同时实现更有效的回声抑制。仿真结果验证了该方法在单端和双端情况下的有效性。
2020-05-15 cs.LG cs.SD eess.AS
Binaural multichannel blind speaker separation with a causal low-latency and low-complexity approach
Carl von Ossietzky University(卡尔·冯·奥西茨基大学)
提出用于噪声混响环境的因果低延迟低复杂度双耳多通道盲说话人分离模型 GCBFSnet,通过 GC 显著降低模型规模与复杂度,并在多数指标上匹配 TasNet 基线。
2023-12-08 cs.SD eess.AS
Exploring Self-Attention Mechanisms for Speech Separation
Université Laval(拉瓦尔大学);Concordia University(康考迪亚大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Università Politecnica delle Marche(马尔凯理工大学);Université de Sherbrooke(舍布鲁克大学)
本文深入研究基于 Transformer 的语音分离方法,扩展 SepFormer 至带噪及混响场景,并首次探索 Linformer、Lonformer、ReFormer 等高效自注意力机制,在降低内存需求的同时取得优于 Conv-TasNet 的性能。
2023-05-27 cs.LG cs.SD eess.AS
Meta-learning Extractors for Music Source Separation
Charles University(查理大学);Preferred Networks
我们提出了一个分层的元学习启发模型的音乐声源分离(Meta-TasNet),其中一个生成器模型用于预测各个提取器模型的权重。这实现了高效的参数共享,同时仍然允许仪器特定的参数化。Meta-TasNet被证明比独立训练或在多任务环境中训练的模型更有效,并且实现了与最先进方法相当的性能。与后者相比,我们的提取器包含更少的参数,并具有更快的运行时性能。我们讨论了重要的架构考虑因素,并探讨了这种方法的成本和收益。
2020-02-17 cs.LG cs.SD eess.AS
Single-Microphone Speaker Separation and Voice Activity Detection in Noisy and Reverberant Environments
Bar-Ilan University(巴伊兰大学)
针对嘈杂与混响环境,提出单麦克风说话人分离网络Sep-TFAnet及其结合VAD的变体,基于TCN和STFT/iSTFT实现,并验证了其在真实录音上优于竞争方法的泛化能力。
2024-01-07 cs.SD eess.AS
On Data Sampling Strategies for Training Neural Network Speech Separation Models
The University of Sheffield(谢菲尔德大学)
本研究分析训练信号长度限制对SepFormer、Conv-TasNet两种语音分离模型的影响,发现特定长度限制可通过增加独特训练样本提升性能,4.42秒限制结合动态混合训练的SepFormer性能与无限制最优模型相当,且训练时间减少44%。
2023-06-16 cs.AI cs.LG cs.NE
Music Source Separation in the Waveform Domain
Facebook AI Research(Facebook AI研究院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
音乐的声源分离是将来自不同乐器的贡献或茎分离出来的任务,这些乐器单独录制并安排在一起形成一首歌曲。类似于许多音频合成任务,其中最好的性能是通过直接生成波形的模型来实现的,用于音乐的声源分离的最新技术是计算幅度谱上的掩码。在本文中,我们比较了两种波形域架构。我们首先适应Conv-Tasnet,最初开发的语音声源分离,音乐声源分离的任务。虽然Conv-Tasnet击败了许多现有的频谱域方法,但它遭受了显着的伪影,如人类评估所示。我们提出了一种新的波形到波形模型Demucs,它具有U-Net结构和双向LSTM。在MusDB数据集上的实验表明,通过适当的数据增强,Demucs击败了现有的最先进的架构,包括Conv-Tasnet,平均6.3 SDR,(并且高达6.8,具有150首额外的训练歌曲,甚至超过了低音源的Brachiracle)。使用模型量化的最新发展,Demucs可以被压缩到120 MB而不会损失任何准确性。我们还提供了人类的评估,表明Demucs受益于音频自然度的大幅度提升。然而,它遭受了一些出血,特别是在人声和其他来源之间。
2021-04-28 cs.LG cs.SD eess.AS
DF-Conformer: Integrated architecture of Conv-TasNet and Conformer using linear complexity self-attention for speech enhancement
Google Research(谷歌研究院)
单通道语音增强(SE)是语音处理中的一个重要课题。广泛使用的框架将分析/合成滤波器组与掩模预测网络相结合,例如Conv-TasNet架构。在这样的系统中,去噪性能和计算效率主要受掩模预测网络的结构影响。在这项研究中,我们的目标是通过将Conformer层集成到一个新的掩模预测网络中来提高Conv-TasNet架构的顺序建模能力。为了使模型在计算上可行,我们使用线性复杂性注意力和堆叠的1-D扩张的dependency卷积层来扩展Conformer。我们在3,396小时的噪声语音数据上训练了该模型,并表明(i)使用线性复杂度注意避免了高计算复杂度,(ii)我们的模型比改进的时间扩张卷积网络(TDCN++)(Conv-TasNet的扩展版本)实现了更高的尺度不变信噪比。
2021-08-05 cs.SD eess.AS
Exploring the time-domain deep attractor network with two-stream architectures in a reverberant environment
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
深度吸引子网络(DAN)通过区分性嵌入和说话人吸引子来执行语音分离。与基于排列不变训练(PIT)的方法相比,DAN定义了一个深度嵌入空间,并在每个时频(T-F)bin上提供更精细的表示。然而,已经观察到,如果直接部署在混响环境中,则DAN在信号质量上实现有限的改善。继时域分离网络在纯净混合语音上取得成功之后,我们提出了一种具有两个卷积网络流的时域DAN(TD-DAN),该网络在可变数量扬声器的条件下有效地执行去混响和分离任务。TD-DAN的说话人编码流(SES)被训练以在嵌入空间中对说话人信息进行建模。语音解码流(SDS)接受来自SES的扬声器吸引子,并学习从频谱-时间表示中估计早期反射。同时,额外的聚类损失被用来弥合预言和估计的吸引子之间的差距。实验在空间化多发言人华尔街日报(SMS-WSJ)数据集上进行。将早期反射信号与消声信号和混响信号进行比较,选择早期反射信号作为学习目标。实验结果表明,TD-DAN在混响2/3扬声器评估集上实现了9.79/7.47 dB的尺度不变源失真比(SI-SDR)增益,分别超过基线DAN和卷积时域音频分离网络(Conv-TasNet)1.92/0.68 dB和0.91/0.47 dB。
2021-04-21 cs.SD eess.AS
Inter-channel Conv-TasNet for multichannel speech enhancement
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术院(KAIST))
提出端到端通道间 Conv-TasNet,通过三维编码器—掩码—解码器结构及维度独立卷积建模多通道关系,以十分之一参数在 CHiME-3 上取得更优语音增强效果。
2021-11-08 cs.SD eess.AS
Fast accuracy estimation of deep learning based multi-class musical source separation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Logitech Europe S.A.(罗技欧洲股份有限公司);UiT The Arctic University of Norway(挪威北极圈大学)
音乐声源分离表示从给定歌曲中提取所有乐器的任务。最近在这一挑战上的突破主要集中在单一数据集MUSDB上,仅限于四种仪器类别。更大的数据集和更多的工具在收集数据和训练深度神经网络(DNN)方面成本高昂且耗时。在这项工作中,我们提出了一种快速方法来评估任何数据集中仪器的可分性,而无需训练和调整DNN。这种可分性度量有助于为神经网络的有效训练选择合适的样本。基于具有理想比率掩码的预言机原理,我们的方法是估计最先进的深度学习方法(如TasNet或Open-Unmix)的分离性能的优秀代理。我们的结果有助于揭示音频声源分离的两个基本点:1)理想的比率掩码,虽然轻而直接,但提供了最近神经网络的音频可分离性性能的准确测量,以及2)直接对波形进行操作的新的端到端学习方法(如Tasnet)实际上是在内部构建时频(TF)表示,从而当分离TF平面中重叠的音频模式时,它们遇到与基于TF的方法相同的限制。
2021-12-01 cs.LG cs.SD eess.AS
UX-NET: Filter-and-Process-based Improved U-Net for Real-time Time-domain Audio Separation
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究提出了UX-Net,一个时域音频分离网络(TasNet)的基础上修改的U-Net架构。所提出的UX网络实时工作,并处理单个或多个麦克风输入。受基于滤波和处理的人类听觉行为的启发,所提出的系统引入了新颖的混合器和分离模块,从而实现了语音源的成本和存储器有效建模。混合器模块在潜在特征空间中组合编码输入,并输出期望数量的输出流。然后,在分离模块中,应用修改的U-Net(UX)块。UX块首先以各种分辨率对编码输入进行滤波,然后聚合滤波后的信息并应用递归处理来估计分离源的掩码。UX-Net中的字母“X”是UX块中使用的递归层类型的名称占位符。WSJ 0 - 2 mix基准测试数据集的实证结果表明,其中一种UX-Net配置的性能优于最先进的Conv-TasNet系统0.85 dB SI-SNR,同时仅使用16%的模型参数,计算量减少58%,并保持低延迟。
2022-10-28 cs.SD eess.AS
Speech Separation for Hearing-Impaired Children in the Classroom
Radboud University(拉德堡德大学);Donders Institute for Brain, Cognition, and Behaviour(大脑、认知与行为研究所);Leiden University Medical Centre(莱顿大学医学中心);Mortimer B. Zuckerman Mind, Brain, Behavior Institute(莫蒂默·B·祖克erman心智、大脑与行为研究所);Columbia University(哥伦比亚大学);Department of Otorhinolaryngology(耳鼻喉科部门);Leiden Institute for Brain and Cognition(莱顿大脑与认知研究所);Delft University of Technology(代尔夫特理工大学)
针对听障儿童课堂语音分离难题,提出基于MIMO-TasNet的紧凑低延迟多通道架构,通过模拟自然课堂场景训练,证实其可高效适应儿童语音,提升分离质量与鲁棒性,为辅助设备提供技术支持。
2025-11-10 cs.AI cs.SD
Auditory Separation of a Conversation from Background via Attentional Gating
Redwood Center for Theoretical Neuroscience(雷德伍德理论神经科学中心);Helen Wills Neuroscience Institute(海伦·威尔斯神经科学研究所);University of California, Berkeley(加州大学伯克利分校)
我们提出了一个模型,用于分离出一组声音的声音混合包含一个未知数量的来源。我们的注意力门控网络(AGN)使用一个可变的注意力上下文,以指定哪些扬声器的混合物是感兴趣的。注意上下文由嵌入向量指定,该嵌入向量通过加性偏置来修改神经网络的处理。个体说话人嵌入被学习以分离单个说话人,而个体说话人嵌入的叠加被用于分离说话人集合。我们首先评估AGN在传统的单扬声器分离任务,并显示出9%的改进与可比模型。然后,我们引入了一个新的任务,从一组未知大小的声音的混合物中分离出一个任意的声音子集,这是受到人类在自助餐厅将感兴趣的对话与背景聊天分开的能力的启发。我们表明,AGN是唯一的模型能够解决这个任务,执行只有7%比单扬声器分离任务。
2019-05-26 cs.LG cs.SD eess.AS
Embedding Recurrent Layers with Dual-Path Strategy in a Variant of Convolutional Network for Speaker-Independent Speech Separation
Beijing University of Technology(北京工业大学)
近年来,随着深度神经网络(DNN)的发展,非特定人语音分离取得了显着的性能。从传统的卷积神经网络(CNN)和递归神经网络(RNN)到先进的Transformer,各种网络结构都被设计用于提高分离性能。然而,现有的模型在计算方面存在着模型规模大、内存消耗大、计算复杂等缺陷。为了找到性能和计算效率之间的平衡,并进一步探索传统网络结构的建模能力,我们将RNN和新提出的卷积网络变体结合起来,以解决语音分离问题。通过双路径策略将两个RNN嵌入到该变体的基本块中,该网络可以有效地学习局部信息和全局依赖性。此外,四阶段结构使得分离过程能够随着特征尺寸的增加而逐渐在越来越精细的尺度上进行。在不同数据集上的实验结果证明了该方法的有效性,并表明该方法在分离性能和计算效率之间取得了很好的平衡。
2022-06-16 cs.SD eess.AS
Universal Sound Separation
Google(谷歌)
最近的深度学习方法在语音增强和分离任务上取得了令人印象深刻的性能。然而,这些方法还没有被研究用于分离不同类型的任意声音的混合物,我们称之为通用声音分离的任务,并且不知道语音任务的性能如何转移到非语音任务。为了研究这个问题,我们开发了一个包含任意声音的混合物数据集,并使用它来研究基于掩码的分离架构的空间,改变整体网络架构和信号转换的逐帧分析-合成基础。这些网络架构包括卷积长短期记忆网络和时间扩张卷积堆栈,其灵感来自最近成功的时域增强网络,如ConvTasNet。对于后者的架构,我们还提出了新的修改,进一步提高分离性能。在逐帧分析-合成基础方面,我们探索了短时傅立叶变换(STFT)和可学习的基础,如ConvTasNet中所使用的。对于这两个基地,我们还研究了窗口大小的影响。特别是,对于STFT,我们发现较长的窗口(25-50 ms)最适合语音/非语音分离,而较短的窗口(2.5 ms)最适合任意声音。对于可学习的基础,较短的窗口(2.5 ms)对所有任务都最有效。令人惊讶的是,对于通用的声音分离,STFT优于可学习的基础。我们最好的方法产生的改进,在尺度不变的信号失真比超过13 dB的语音/非语音分离和接近10 dB的通用声音分离。
2019-08-02 cs.LG cs.SD eess.AS
Convolutive Prediction for Reverberant Speech Separation
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
我们调查的有效性卷积预测,一种新的制定线性预测语音去混响,在混响条件下的扬声器分离。其关键思想是首先使用深度神经网络(DNN)来估计每个扬声器的直接路径信号,然后识别估计的直接路径信号的延迟和衰减副本。这样的副本可能是由于混响,并且可以直接移除以进行去混响,或者用作另一个DNN的额外特征以执行更好的去混响和分离。为了识别这样的副本,我们解决了一个线性回归问题,有效地在时间-频率(T-F)域中的频率,以估计潜在的房间脉冲响应(RIR)。在多通道扩展中,我们对卷积预测的输出执行最小方差无失真响应(MVDR)波束成形。波束成形和去混响结果用作第二DNN的额外特征,以执行更好的分离和去混响。国家的最先进的结果上获得的SMS-WSJ语料库。
2021-08-16 cs.SD eess.AS
Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions
Shanghai Jiao Tong University(上海交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Carnegie Mellon University(卡内基梅隆大学)
基于深度学习的时域模型,例如Conv-TasNet,在单通道和多通道语音增强方面都显示出巨大的潜力。然而,时域语音增强模型的实验大多是在模拟环境下进行的,其良好的性能能否推广到实际应用中还没有得到很好的研究。在本文中,我们的目的是提供一个有见地的调查应用多通道Conv-TasNet为基础的语音增强的模拟和真实数据。我们的初步实验表明,在ASR性能方面,两种条件之间存在很大的性能差距。有几种方法被用来缩小这一差距,包括将多通道Conv-TasNet集成到具有各种策略的波束形成模型中,以及语音增强和语音识别模型的联合训练。在CHiME-4语料库上的实验表明,本文提出的方法在保持前端强大的语音增强能力的同时,可以大大降低仿真数据与真实数据之间的语音识别性能差异。
2021-10-27 cs.SD eess.AS
Convolutive Transfer Function Invariant SDR training criteria for Multi-Channel Reverberant Speech Separation
Paderborn University(帕德博恩大学);Shanghai Jiao Tong University(上海交通大学);NTT Corporation(日本电信电话株式会社)
时域训练准则已被证明是非常有效的单通道非混响语音混合的分离。同样,基于掩模的波束形成在多通道混响语音增强和声源分离中也表现出了令人印象深刻的性能。在这里,我们建议结合神经网络支持的多通道声源分离与时域训练目标函数。为此,我们建议使用卷积传递函数不变的信号失真比(CI-SDR)为基础的损失。虽然这是一个众所周知的评估指标(BSS Eval),但它以前从未被用作训练目标。为了显示有效性,我们展示了基于LibriSpeech的混响混合的性能。在这个任务上,所提出的系统接近在单源非混响输入上获得的出错率,即,LibriSpeech test_clean,仅相差1.2个百分点,因此大大优于传统的基于排列不变训练的系统和其他目标,如Scale Invariant Signal to Distortion Ratio。
2021-06-08 cs.SD eess.AS
Multi-channel Conversational Speaker Separation via Neural Diarization
The Ohio State University(俄亥俄州立大学)
提出多通道SSND框架,利用端到端日志和位置训练解决排列模糊,实现高效长段分离,在LibriCSS上大幅提升日志和ASR性能。
2023-11-15 cs.SD eess.AS
Expectation-Maximization for Speech Source Separation Using Convolutive Transfer Function
INRIA Grenoble Rhône-Alpes(法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院);GIPSA-lab(GIPSA实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文研究了从多通道麦克风信号中分离欠定语音声源分离的问题。首先将时域信号变换到短时傅立叶变换(STFT)域。为了在STFT域中表示房间滤波器,而不是广泛使用的窄带假设,我们建议使用更准确的模型,即卷积传递函数(CTF)。在每个频带上,混合滤波器的CTF系数和源的STFT系数通过最大化麦克风信号的似然度来联合估计,该似然度通过期望最大化(EM)算法来解决。实验结果表明,该方法在强混响环境下具有良好的性能。
2019-04-10 cs.SD eess.AS
Speech Separation Using an Asynchronous Fully Recurrent Convolutional Neural Network
Tsinghua University(清华大学);Columbia University(哥伦比亚大学);University of Hamburg(汉堡大学)
神经网络结构设计的最新进展,特别是那些专门用于建模序列的结构,已经提供了语音分离性能的显著改进。在这项工作中,我们建议使用一种生物启发的架构,称为全递归卷积神经网络(FRCNN)来解决分离任务。该模型包含自下而上、自上而下和横向连接,以融合在\textit{stages}表示的各种时间尺度上处理的信息。与传统的并行更新阶段的方法不同,我们提出先自下而上逐个更新阶段,然后同时融合相邻阶段的信息,最后将所有阶段的信息融合到底层阶段。实验结果表明,这种异步更新方案取得了显着更好的效果,与传统的同步更新方案的参数少得多。此外,该模型在三个基准数据集上与其他最先进的模型相比,在语音分离精度和计算效率之间取得了良好的平衡。
2021-12-04 cs.SD eess.AS
FurcaNet: An end-to-end deep gated convolutional, long short-term memory, deep neural networks for single channel speech separation
Fujitsu Research and Development Center(富士通研究开发中心);Fujitsu Laboratories Ltd.(富士通实验室有限公司);Harbin Institute of Technology(哈尔滨工业大学)
深度选通卷积网络已被证明在单通道语音分离中非常有效。然而,当前最先进的框架通常考虑在时频(TF)域中训练门控卷积网络。这种方法将导致感知得分有限,例如分离话语的信号失真比(SDR)上限,并且也无法利用端到端框架。在本文中,我们提出了一个集成的简单而有效的端到端的单声道语音分离的方法,它包括深门控卷积神经网络(GCNN),采取两个扬声器的混合话语,并将其映射到两个单独的话语,其中每个话语只包含一个扬声器的声音。此外,长短期记忆(LSTM)被用于长期时间建模。为此,我们提出了训练网络直接优化话语级SDR的排列不变训练(PIT)的风格。在公开的WSJ 0 - 2 mix数据语料库上的实验表明,该方法能够产生更有区分度的说话人分离结果,提高了说话人分离的性能。
2019-03-18 cs.SD eess.AS
TF-Locoformer: Transformer with Local Modeling by Convolution for Speech Separation and Enhancement
MERL(三菱电机美国研究实验室)
本文提出TF-Locoformer,用卷积前馈网络替代RNN实现时频域双路径语音分离与增强,在保持局部建模能力的同时达到SoTA性能。
2024-08-06 cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Deformable Temporal Convolutional Networks for Monaural Noisy Reverberant Speech Separation
M Health Information Systems, Inc.(3M健康信息系统公司)
在许多语音处理应用中,语音分离模型用于分离单个说话者。深度学习模型已被证明可以在许多语音分离基准测试中获得最先进的(SOTA)结果。一类被称为时间卷积网络(TCN)的模型已经显示出语音分离任务的有希望的结果。这些模型的局限性在于它们具有固定的感受野(RF)。语音去混响的最新研究表明,TCN的最佳RF随语音信号的混响特性而变化。在这项工作中,提出了可变形卷积作为一种解决方案,允许TCN模型具有动态RF,可以适应各种混响时间的混响语音分离。所提出的模型是能够实现11.1 dB的平均尺度不变的信号失真比(SISDR)的改善在输入信号的WHAMR基准。一个相对较小的变形TCN模型的1.3M参数的建议,它提供了可比的分离性能更大,更复杂的计算模型。
2023-03-10 cs.AI cs.SD eess.AS
Enhancing End-to-End Multi-channel Speech Separation via Spatial Feature Learning
Tencent AI Lab(腾讯人工智能实验室)
手工制作的空间特征(例如,通道间相位差(IPD)在最近基于深度学习的多通道语音分离(MCSS)方法中起着基础作用。然而,这些手动设计的空间特征很难纳入端到端优化的MCSS框架。在这项工作中,我们提出了一个集成的架构,直接从多通道语音波形学习空间特征的端到端的语音分离框架。在该架构中,训练跨越信号通道的时域滤波器以执行自适应空间滤波。这些滤波器由2d卷积(conv2d)层实现,并且它们的参数以纯数据驱动的方式使用语音分离目标函数进行优化。此外,受IPD公式的启发,我们设计了一个conv2d内核来计算通道间卷积差(ICD),这有望提供有助于区分方向源的空间线索。仿真多通道混响WSJ0 2混合数据集上的评估结果表明,我们提出的基于ICD的MCSS模型提高了10.4%的整体信号失真比基于IPD的MCSS模型。
2020-03-13 cs.SD eess.AS
FurcaNeXt: End-to-end monaural speech separation with dynamic gated dilated temporal convolutional networks
Harbin Institute of Technology(哈尔滨工业大学);Fujitsu R & D Center(富士通研发中心);Shuangfeng First(双峰首(北京))
本文提出多种改进的时序卷积网络(FurcaNeXt等)用于端到端单耳语音分离,通过置换不变训练直接优化语句级SDR,在WSJ0-2mix上实现18.4dB提升。
2023-06-26 cs.SD eess.AS
Parrotron: An End-to-End Speech-to-Speech Conversion Model and its Applications to Hearing-Impaired Speech and Speech Separation
Google(谷歌)
我们描述了Parrotron,一种端到端训练的语音到语音转换模型,它将输入频谱图直接映射到另一个频谱图,而不使用任何中间离散表示。该网络由编码器、声谱图和音素解码器组成,随后是声码器以合成时域波形。我们证明,这个模型可以训练,以规范化语音从任何扬声器,无论口音,韵律和背景噪声,到一个单一的标准目标扬声器的声音与固定的口音和一致的发音和韵律。我们进一步表明,这种规范化模型可以适应于规范化的高度非典型的语音从聋人扬声器,从而显着提高可懂度和自然度,通过语音识别器和听力测试测量。最后,展示了该模型在其他语音任务上的实用性,我们表明,可以训练相同的模型架构来执行语音分离任务
2019-10-29 cs.SD eess.AS
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University(卡内基梅隆大学);Sony Corporation(索尼公司);Sony Europe B.V.(索尼欧洲有限公司)
近年来,深度神经网络(DNN)已成功用于语音增强,基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换(STFT)的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强,但是也已经提出了诸如时域音频分离网络(TasNet)的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中,我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数,使用问题不可知的语音编码器(PASE)功能,以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的,并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet,我们将其提交给了DNS Challenge,并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS