SLOGD: Speaker LOcation Guided Deflation approach to speech separation
语音分离是将多个说话者从音频记录中分离出来的过程。在这项工作中,我们建议使用扬声器本地化引导放气(SLOGD)的方法,其中我们迭代地估计源分离的源。在每次迭代中,我们首先估计扬声器的位置,并使用它来估计与本地扬声器相对应的掩码。在估计下一个源的位置和掩模之前,从混合物中去除估计的源。实验进行混响,嘈杂的多通道版本的WSJ-2 MIX数据集使用字错误率(WER)作为度量。所提出的方法实现了$44.2$ %的WER,与没有分离的系统相比有$34$ %的相对改进,与Conv-TasNet相比有$17$ %的相对改进。
2019-10-24 eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室);Brno University of Technology(布尔诺理工大学)
目标语音提取是指在给定目标说话人信息的情况下,从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam,它利用目标说话者的自适应话语来提取他/她的声音特征,然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案,因为它能够跨话语跟踪目标说话人的语音,并实现有希望的语音提取性能。然而,当说话人具有相似的语音特征时,例如在同性混合中,它有时会失败,因为很难区分目标说话人和干扰说话人。在本文中,我们调查的战略,提高扬声器的区分能力的SpeakerBeam。首先,我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络(TasNet),它已经实现了最先进的语音分离性能。此外,我们还研究了(1)当麦克风阵列记录可用时,使用空间特征来更好地区分说话者,(2)添加辅助说话者识别损失,以帮助学习更多有区别的语音特征。我们的实验表明,这些策略大大提高了语音提取的性能,特别是对于同性混合,并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
DF-Conformer: Integrated architecture of Conv-TasNet and Conformer using linear complexity self-attention for speech enhancement
Google Research(谷歌研究院)
单通道语音增强(SE)是语音处理中的一个重要课题。广泛使用的框架将分析/合成滤波器组与掩模预测网络相结合,例如Conv-TasNet架构。在这样的系统中,去噪性能和计算效率主要受掩模预测网络的结构影响。在这项研究中,我们的目标是通过将Conformer层集成到一个新的掩模预测网络中来提高Conv-TasNet架构的顺序建模能力。为了使模型在计算上可行,我们使用线性复杂性注意力和堆叠的1-D扩张的dependency卷积层来扩展Conformer。我们在3,396小时的噪声语音数据上训练了该模型,并表明(i)使用线性复杂度注意避免了高计算复杂度,(ii)我们的模型比改进的时间扩张卷积网络(TDCN++)(Conv-TasNet的扩展版本)实现了更高的尺度不变信噪比。
2021-08-05 cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
LaFurca: Iterative Refined Speech Separation Based on Context-Aware Dual-Path Parallel Bi-LSTM
Fujitsu Research and Development Center(富士通研究开发中心);Harbin Institute of Technology(哈尔滨工业大学)
具有双路径双向长短期记忆(BiLSTM)块的深度神经网络已被证明在序列建模中非常有效,特别是在语音分离中,例如DPRNN-TasNet \cite{luo2019dual}。在本文中,我们提出了一些改进的双路BiLSTM网络的端到端的方法来单声道语音分离。首先,引入了具有并行内BiLSTM和并行间BiLSTM组件的双路径网络,以减少不同分支之间的性能子方差。其次,我们提出使用全局上下文感知的inter-intra交叉并行BiLSTM来进一步感知全局上下文信息。最后,提出了一种螺旋多级双路BiLSTM迭代细化前几级的分离结果。所有这些网络都将两个说话者的混合话语映射到两个单独的话语,每个话语只包含一个说话者的声音。为此,我们提出了训练的网络,直接优化的话语水平的标度不变的信号失真比(SI-SDR)的排列不变的训练(PIT)风格。在公开的WSJ 0 - 2 mix数据集上的实验结果表明,该网络在说话人分离任务上的性能得到了提高,其中SDR提高了20.55dB,SI-SDR提高了20.35dB,PESQ提高了3.69,ESTOI提高了94.86%.我们已经在https://github.com/Shiziqiang/dual-path-RNNs-DPRNNs-based-speech-separation中开源了我们对DPRNN-TasNet的重新实现,我们的LaFurca是基于DPRN…
2020-10-27 cs.SD eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一个新的框架,共同执行三个任务:说话人日记,语音分离,说话人计数。我们提出的框架集成了基于端到端神经日记化(EEND)模型的说话人日记化,基于编码器-解码器的吸引子(EDA)的说话人计数,以及使用Conv-TasNet的语音分离。此外,我们提出了一个多个1x 1卷积层架构,用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术,用于细化分离的语音信号与获得的扬声器diarization信息,以改善联合框架。使用LibriMix数据集的实验表明,我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线,并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
An empirical study of Conv-TasNet
Dolby Laboratories(杜比实验室)
Conv-TasNet是最近提出的基于波形的深度神经网络,在语音源分离方面实现了最先进的性能。它的架构由一个可学习的编码器/解码器和一个在这个学习空间之上操作的分离器组成。已经对Conv-TasNet提出了各种改进。然而,他们主要关注分隔符,将其编码器/解码器作为(浅)线性运算符。在本文中,我们对Conv-TasNet进行了实证研究,并提出了一种基于其(深度)非线性变体的编码器/解码器增强。此外,我们对更大,更多样化的LibriTTS数据集进行了实验,并调查了在更大的数据集上训练时所研究模型的泛化能力。我们提出了跨数据集评估,包括评估WSJ 0 - 2 mix,LibriTTS和VCTK数据库的分离。我们的研究结果表明,增强的编码器/解码器可以提高平均SI-SNR性能超过1 dB。此外,我们还深入了解了Conv-TasNet的泛化能力以及编码器/解码器改进的潜在价值。
2020-02-24 cs.CV cs.LG cs.SD
Nonlinear Residual Echo Suppression Based on Multi-stream Conv-TasNet
Nanjing University(南京大学)
由于回波信号与远端信号之间的非线性关系,线性自适应滤波器不能完全去除回波信号。通常需要后处理模块来进一步抑制回声。在本文中,我们提出了一种残余回声抑制方法的基础上修改的全卷积时域音频分离网络(Conv-TasNet)。采用线性声学回声消除系统的残留信号和自适应滤波器的输出来形成Conv-TasNet的多个流,从而在保持整个系统的较低延迟的同时实现更有效的回声抑制。仿真结果验证了该方法在单端和双端情况下的有效性。
2020-05-15 cs.LG cs.SD eess.AS
A Multi-Phase Gammatone Filterbank for Speech Separation via TasNet
在这项工作中,我们调查了端到端卷积时域音频分离网络(Conv-TasNet)的学习编码器是否是其最近成功的关键,或者编码器是否可以被确定性手工制作的滤波器组所取代。受Conv-TasNet的训练编码器与听觉滤波器组的相似性的启发,我们建议采用确定性伽马通滤波器组。与常见的伽玛通滤波器组相比,我们的滤波器被限制在2 ms的长度,以允许低延迟处理。受Conv-TasNet学习的编码器的启发,除了按时间间隔排列的滤波器外,所提出的滤波器组还在相同的中心频率处保持多个具有不同相移的伽马通滤波器。我们表明,用我们提出的多相伽玛滤波器组(MP-GTF)替换学习的编码器甚至会导致0.7 dB的尺度不变信噪比(SI-SNR)改善。此外,与使用学习的编码器相比,我们表明,滤波器的数量可以从512减少到128,而不会损失性能。
2020-03-10 cs.LG cs.SD eess.AS
Speech Separation Based on Multi-Stage Elaborated Dual-Path Deep BiLSTM with Auxiliary Identity Loss
Fujitsu Research and Development Center(富士通研发中心);Harbin Institute of Technology(哈尔滨工业大学)
具有双路径双向长短期记忆(BiLSTM)块的深度神经网络已被证明在序列建模中非常有效,特别是在语音分离中。这项工作研究了如何扩展双路径BiLSTM,以产生一种新的最先进的方法,称为TasTas,用于多说话者单声道语音分离(也称为鸡尾酒会问题)。TasTas介绍了两个简单但有效的改进,一个是迭代的多级细化方案,另一个是通过分离语音和原始语音之间的说话人身份一致性损失来校正具有不完美分离的语音,以提高基于双路径BiLSTM的网络的性能。TasTas将两个说话者的混合话语映射为两个单独的话语,其中每个话语仅包含一个说话者的声音。在WSJ 0 - 2 mix数据集上的实验结果表明,该网络在说话人分离方面有较大的性能提升,SDR提高了20.55dB,SI-SDR提高了20.35dB,PESQ提高了3.69,ESTOI提高了94.86%.我们在这里开源了我们对DPRNN-TasNet的重新实现(https://github.com/Shiziqiang/dual-path-RNNs-DPRNNs-based-speech-separation),我们的TasTas是基于DPRNN-TasNet的这个实现的,相信本文的结果可以很容易地复制。
2020-08-06 cs.SD eess.AS
Two-stage model and optimal SI-SNR for monaural multi-speaker speech separation in noisy environment
在日常的听音环境中,语音常常受到背景噪声、室内混响和扬声器干扰的影响而失真。随着深度学习方法的发展,单耳多说话人语音分离研究取得了很大进展。然而,在这方面的研究大多集中在一个简单的问题设置的实验室环境中,没有考虑背景噪声和房间混响。在本文中,我们提出了一个基于conv-TasNet的两阶段模型,分别处理噪声和干扰扬声器的显着影响,其中使用深度扩展时间卷积网络(TCN)依次进行增强和分离。此外,我们提出了一种新的目标函数,称为最佳尺度不变信噪比(OSI-SNR),它在任何情况下都优于原来的SI-SNR。通过与OSI-SNR联合训练两阶段模型,我们的算法大大优于一阶段分离基线。
2020-08-01 cs.SD eess.AS
Inter-channel Conv-TasNet for multichannel speech enhancement
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术院(KAIST))
提出端到端通道间 Conv-TasNet,通过三维编码器—掩码—解码器结构及维度独立卷积建模多通道关系,以十分之一参数在 CHiME-3 上取得更优语音增强效果。
2021-11-08 cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University(哥伦比亚大学)
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出,因此丢弃了空间声源定位所需的空间线索。然而,保留空间信息在许多旨在准确呈现声学场景的应用中是重要的,例如在助听器和增强现实(AR)中。在这里,我们提出了一种语音分离算法,保留分离的声源的耳间线索,可以实现低延迟和高保真度,因此能够实时修改的声学场景。基于时域音频分离网络(TasNet),一个单通道时域语音分离系统,可以在实时实现,我们提出了一个多输入多输出(MIMO)端到端的TasNet扩展,以双耳混合音频作为输入,同时分离目标扬声器在两个通道。实验结果表明,所提出的端到端MIMO系统能够显著提高分离性能,并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
End-to-end Music-mixed Speech Recognition
多媒体内容中的自动语音识别(ASR)是一种很有前景的应用,但这类内容中的语音数据经常与背景音乐混在一起,这对ASR的性能是不利的。在这项研究中,我们提出了一种基于时域源分离的背景音乐提高ASR的方法。我们利用Conv-TasNet作为一个分离网络,它已经实现了最先进的多扬声器源分离的性能,在波形域中从语音-音乐混合中提取语音信号。我们还建议使用分离和ASR目标对预训练的Conv-TasNet前端和基于注意力的ASR后端进行联合微调。我们评估我们的方法,通过ASR实验,使用语音数据与各种各样的日本动画的背景音乐混合。我们表明,时域语音音乐分离大大提高了用混合数据训练的后端模型的ASR性能,联合优化进一步显著降低了WER。时域分离方法优于频域分离方法,频域分离方法在简单的级联和联合训练设置中重复使用输入混合信号的相位信息。我们还证明了我们的方法适用于古典,爵士和流行流派的音乐干扰。
2020-08-27 eess.AS
MITAS: A Compressed Time-Domain Audio Separation Network with Parameter Sharing
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
深度学习方法已经在语音分离(SS)方面带来了实质性的进步。然而,在边缘设备上部署基于深度学习的模型仍然具有挑战性。因此,确定一种有效的方法来压缩这些大的模型,而不损害SS性能已成为一个重要的研究课题。最近,已经提出了TasNet和Conv-TasNet。他们在几个标准化的SS任务上取得了最先进的成果。此外,它们的低延迟特性使其绝对适合实时设备应用。在这项研究中,我们提出了两个参数共享方案,以降低TasNet和Conv-TasNet上的内存消耗。因此,我们得到了一个新的所谓的MiTAS(迷你TasNet)。我们的实验结果首先证实了我们的MiTAS在混合音频中的两种类型的扰动的鲁棒性。我们还设计了一系列烧蚀实验,分析了模型中参数的数量与SS性能之间的关系。结果表明,与TasNet和Conv-TasNet相比,MiTAS能够将模型大小减少四倍,同时保持相当的SS性能,并提高稳定性。这表明MiTAS更适合于实时低延迟应用。
2019-12-09 cs.CL cs.LG cs.SD
Scaling strategies for on-device low-complexity source separation with Conv-Tasnet
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
最近,一些非常有效的单通道语音分离的神经网络方法已经在文献中提出。然而,由于这些模型的尺寸和复杂性,它们在低资源设备(例如助听器和耳机)上的使用仍然是一个挑战,并且尚未提供既定的解决方案。虽然已经提出了基于修剪或压缩神经模型的方法,但适合于某个应用领域的模型架构的设计通常需要启发式程序,这些程序不容易移植到不同的低资源平台。鉴于众所周知的Conv-Tasnet语音分离架构的模块化性质,在本文中,我们考虑直接控制模型的整体大小的三个参数,即:残差块的数量,分离块的重复次数和深度卷积中的通道数量,并通过实验评估它们如何影响语音分离性能。特别是,在Libri 2 Mix上进行的实验表明,膨胀的1D-Conv块的数量是最关键的参数,并且在残差块中使用额外膨胀可以减少性能下降。
2023-03-06 cs.LG cs.SD eess.AS
MultiSV: Dataset for Far-Field Multi-Channel Speaker Verification
Brno University of Technology(布尔诺理工大学)
受未整合的数据情况和缺乏一个标准的基准在该领域,我们补充我们以前的努力,并提出了一个全面的语料库,旨在训练和评估文本无关的多通道说话人确认系统。它也可以很容易地用于去混响、去噪和语音增强的实验。我们通过在Voxceleb数据集的干净部分上利用数据模拟来解决缺乏多通道训练数据的问题。开发和评估试验是基于一个重传的声音在复杂的环境设置(VOiCES)语料库,我们修改,以提供多通道试验。我们发布了完整的食谱,从公共来源创建数据集作为MultiSV语料库,我们提供了两个多通道说话人验证系统的结果,该系统基于预测理想的二进制掩码或最新的Conv-TasNet,具有基于神经网络的波束成形。
2021-11-11 cs.LG cs.SD eess.AS
Separation Guided Speaker Diarization in Realistic Mismatched Conditions
University of Science and Technology of China(中国科学技术大学);iFlytek Research(科大讯飞研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种分离引导的说话人日志化(SGSD)方法,充分利用语音分离和说话人聚类的互补性。由于传统的基于聚类的说话人日记化(CSD)方法不能很好地处理重叠的语音段,我们调查,在这项研究中,基于分离的说话人日记化(SSD),它固有的潜力,以处理说话人重叠区域。我们的初步分析表明,最先进的基于Conv-TasNet的语音分离,这是相当不错的模拟数据,是不稳定的,在现实的会话语音由于在模拟训练语音和读取语音的高失配说话风格。在这样做时,基于分离的处理可以帮助CSD在现实失配条件下处理重叠的语音段。具体而言,几个策略的SSD和CSD系统的结果之间进行选择的基础上分析的SSD系统性能的不稳定性。DIHARD-III挑战赛的对话电话语音(CTS)数据上的实验表明,所提出的SGSD系统可以显着提高国家的最先进的CSD系统的性能,产生的相对日记错误率降低20.2%和20.8%的开发集和评估集,分别。
2021-07-06 cs.SD eess.AS
One Shot Learning for Speech Separation
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
尽管语音分离模型最近取得了成功,但它们在面对不同人群或嘈杂环境时无法正确分离源。为了解决这个问题,我们提出将元学习应用于语音分离任务。我们的目标是找到一个元初始化模型,它可以通过只看到这些人生成的一个混合来快速适应新的说话者。在本文中,我们使用模型不可知元学习(MAML)算法和几乎没有内部循环(ANIL)算法在Conv-TasNet来实现这一目标。实验结果表明,该模型不仅能适应新的说话人集合,而且能适应噪声环境。此外,我们发现编码器和解码器作为特征重用层,而分离器是特定于任务的模块。
2021-05-03 cs.SD eess.AS
Binaural multichannel blind speaker separation with a causal low-latency and low-complexity approach
Carl von Ossietzky University(卡尔·冯·奥西茨基大学)
提出用于噪声混响环境的因果低延迟低复杂度双耳多通道盲说话人分离模型 GCBFSnet,通过 GC 显著降低模型规模与复杂度,并在多数指标上匹配 TasNet 基线。
2023-12-08 cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Closing the Gap Between Time-Domain Multi-Channel Speech Enhancement on Real and Simulation Conditions
Shanghai Jiao Tong University(上海交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Carnegie Mellon University(卡内基梅隆大学)
基于深度学习的时域模型,例如Conv-TasNet,在单通道和多通道语音增强方面都显示出巨大的潜力。然而,时域语音增强模型的实验大多是在模拟环境下进行的,其良好的性能能否推广到实际应用中还没有得到很好的研究。在本文中,我们的目的是提供一个有见地的调查应用多通道Conv-TasNet为基础的语音增强的模拟和真实数据。我们的初步实验表明,在ASR性能方面,两种条件之间存在很大的性能差距。有几种方法被用来缩小这一差距,包括将多通道Conv-TasNet集成到具有各种策略的波束形成模型中,以及语音增强和语音识别模型的联合训练。在CHiME-4语料库上的实验表明,本文提出的方法在保持前端强大的语音增强能力的同时,可以大大降低仿真数据与真实数据之间的语音识别性能差异。
2021-10-27 cs.SD eess.AS
Exploring the time-domain deep attractor network with two-stream architectures in a reverberant environment
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
深度吸引子网络(DAN)通过区分性嵌入和说话人吸引子来执行语音分离。与基于排列不变训练(PIT)的方法相比,DAN定义了一个深度嵌入空间,并在每个时频(T-F)bin上提供更精细的表示。然而,已经观察到,如果直接部署在混响环境中,则DAN在信号质量上实现有限的改善。继时域分离网络在纯净混合语音上取得成功之后,我们提出了一种具有两个卷积网络流的时域DAN(TD-DAN),该网络在可变数量扬声器的条件下有效地执行去混响和分离任务。TD-DAN的说话人编码流(SES)被训练以在嵌入空间中对说话人信息进行建模。语音解码流(SDS)接受来自SES的扬声器吸引子,并学习从频谱-时间表示中估计早期反射。同时,额外的聚类损失被用来弥合预言和估计的吸引子之间的差距。实验在空间化多发言人华尔街日报(SMS-WSJ)数据集上进行。将早期反射信号与消声信号和混响信号进行比较,选择早期反射信号作为学习目标。实验结果表明,TD-DAN在混响2/3扬声器评估集上实现了9.79/7.47 dB的尺度不变源失真比(SI-SDR)增益,分别超过基线DAN和卷积时域音频分离网络(Conv-TasNet)1.92/0.68 dB和0.91/0.47 dB。
2021-04-21 cs.SD eess.AS
LibriMix: An Open-Source Dataset for Generalizable Speech Separation
近年来,wsj 0 - 2 mix已成为单通道语音分离的参考数据集。如今,大多数基于深度学习的语音分离模型都是以它为基准的,然而,最近的研究表明,当在wsj 0 - 2 mix上训练的模型在其他类似的数据集上进行评估时,性能会大幅下降。为了解决这个泛化问题,我们创建了LibriMix,它是wsj 0 - 2 mix及其噪声扩展WHAM!的开源替代品。LibriMix基于LibriSpeech,由两个或三个扬声器的混合声与来自WHAM!的环境噪声样本组成。使用Conv-TasNet,我们在所有LibriMix版本上都实现了具有竞争力的性能。为了公平地评估数据集,我们引入了第三个基于语音和WHAM的VCTK测试集!噪音。我们的实验表明,使用LibriMix训练的模型的泛化误差比使用WHAM!在干净和嘈杂的条件下。为了在更现实、类似对话的场景中进行评估,我们还发布了LibriMix测试集的一个稀疏重叠版本。
2020-05-22 eess.AS
Single-Microphone Speaker Separation and Voice Activity Detection in Noisy and Reverberant Environments
Bar-Ilan University(巴伊兰大学)
针对嘈杂与混响环境,提出单麦克风说话人分离网络Sep-TFAnet及其结合VAD的变体,基于TCN和STFT/iSTFT实现,并验证了其在真实录音上优于竞争方法的泛化能力。
2024-01-07 cs.SD eess.AS
End-to-end training of time domain audio separation and recognition
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室);Paderborn University(帕德博恩大学)
对单通道多说话者语音分离的兴趣的增加引发了多说话者语音识别的端到端(E2 E)方法的发展。然而,到目前为止,最先进的基于神经网络的时域源分离尚未与E2 E语音识别相结合。我们在这里演示如何将基于卷积时域音频分离网络(Conv-TasNet)的分离模块与E2 E语音识别器相结合,以及如何通过将其分布在多个GPU上或通过近似卷积前端的截断反向传播来联合训练这样的模型。为了把这项工作的角度来看,并说明设计空间的复杂性,我们提供了一个紧凑的单通道多说话人识别系统的概述。我们的实验表明,WSJ 0 - 2 mix的字错误率为11.0%,并表明我们的联合时域模型可以产生实质性的改善级联DNN-HMM和单片E2 E频域系统提出了迄今为止。
2020-04-13 cs.CL cs.SD eess.AS
A comprehensive study of speech separation: spectrogram vs waveform separation
Tencent(腾讯)
在过去的几年里,语音分离已经被广泛研究用于单通道近距离麦克风录音;开发的解决方案大多是在频域中。最近,针对单通道数据引入了原始音频波形分离网络(TasNet),与频域中的最新解决方案相比,该网络实现了高的Si-SNR(尺度不变源噪声比)和SDR(源失真比)。在这项研究中,我们将有效成分的TasNet到频域分离方法。我们比较两者的替代方案。我们介绍了一种解决方案,直接优化频域网络中的分离准则。除了语音分离的客观和主观的测量,我们评估分离性能的语音识别任务以及。我们研究了远场数据(更类似于自然的音频流)的语音分离问题,并利用频谱,空间和扬声器位置信息开发了频域和时域分离器的多通道解决方案。对于我们的实验,我们模拟了多通道空间混响WSJ 0 - 2 mix数据集。我们的实验结果表明,频谱图分离可以实现更好的网络设计的竞争力的性能。多通道框架也被证明可以相对提高单通道性能,WER和SDR分别达到+35.5%和+46%。
2019-07-23 cs.LG cs.SD eess.AS
Speaker conditioned acoustic modeling for multi-speaker conversational ASR
在本文中,我们提出了一种新的方法,从单通道语音记录的语音对话与自然扬声器重叠的转录。所提出的模型是一个说话人日记系统和混合自动语音识别(ASR)系统的组合。ASR系统中的说话人条件声学模型(SCAM)由一系列嵌入层组成,这些嵌入层使用来自日记化系统的说话人活动输入来导出说话人特定嵌入。SCAM的输出是用于解码对话中每个扬声器的转录的扬声器特定的senone。在这项工作中,我们的实验与自动扬声器活动的决定使用端到端扬声器日记系统。还提出了一种联合学习方法,其中日志化模型和ASR声学模型被联合优化。实验是在Switchboard电话会话语料库中的混合通道双说话人录音上进行的。在这些实验中,我们表明,所提出的声学模型,结合扬声器活动决策和联合优化,显着提高了ASR系统与显式源过滤(相对改善12%的字错误率(WER)的基线系统)。
2022-08-29 eess.AS
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University(卡内基梅隆大学);Sony Corporation(索尼公司);Sony Europe B.V.(索尼欧洲有限公司)
近年来,深度神经网络(DNN)已成功用于语音增强,基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换(STFT)的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强,但是也已经提出了诸如时域音频分离网络(TasNet)的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中,我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数,使用问题不可知的语音编码器(PASE)功能,以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的,并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet,我们将其提交给了DNS Challenge,并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios
School of Software, Northwestern Polytechnical University(西北工业大学软件学院);School of Intelligent Science and Technology, Nanjing University(南京大学智能科学与技术学院);Shenzhen Loop Area Institute(深圳河套学院);Base Model, Li Auto(理想汽车基础模型)
提出MSU-Bench基准,包含16个说话人中心任务和2300个问答实例,用于评估多说话人对话中的说话人定位与推理能力,揭示现有模型在复杂场景下的不足。
2026-06-23 eess.AS
Music Source Separation in the Waveform Domain
Facebook AI Research(Facebook AI研究院);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
音乐的声源分离是将来自不同乐器的贡献或茎分离出来的任务,这些乐器单独录制并安排在一起形成一首歌曲。类似于许多音频合成任务,其中最好的性能是通过直接生成波形的模型来实现的,用于音乐的声源分离的最新技术是计算幅度谱上的掩码。在本文中,我们比较了两种波形域架构。我们首先适应Conv-Tasnet,最初开发的语音声源分离,音乐声源分离的任务。虽然Conv-Tasnet击败了许多现有的频谱域方法,但它遭受了显着的伪影,如人类评估所示。我们提出了一种新的波形到波形模型Demucs,它具有U-Net结构和双向LSTM。在MusDB数据集上的实验表明,通过适当的数据增强,Demucs击败了现有的最先进的架构,包括Conv-Tasnet,平均6.3 SDR,(并且高达6.8,具有150首额外的训练歌曲,甚至超过了低音源的Brachiracle)。使用模型量化的最新发展,Demucs可以被压缩到120 MB而不会损失任何准确性。我们还提供了人类的评估,表明Demucs受益于音频自然度的大幅度提升。然而,它遭受了一些出血,特别是在人声和其他来源之间。
2021-04-28 cs.LG cs.SD eess.AS
Using joint training speaker encoder with consistency loss to achieve cross-lingual voice conversion and expressive voice conversion
提出联合训练说话人编码器与 Whisper 内容特征实现高质量跨语言语音转换,并引入说话人一致性损失提升相似度,利用音素后验图重现参考语音的说话人特征与情感。
2023-07-01 eess.AS
Black-box Attacks on Automatic Speaker Verification using Feedback-controlled Voice Conversion
自动说话人确认系统在实际应用中极易受到欺骗攻击。最新的语音转换技术能够产生模仿任何目标扬声器的感知自然的声音语音。然而,与说话者身份的感知接近度可能不足以欺骗ASV系统。在这项工作中,我们提出了一个框架,使用ASV系统的输出分数作为语音转换系统的反馈。攻击者框架是一个黑盒对手,窃取一个人的语音身份,因为它不需要任何关于ASV系统的知识,但系统输出。在ASVspoof 2019数据库上进行的实验结果证实,所提出的反馈控制语音转换框架产生的对抗样本比直接的语音转换更具欺骗性,从而提高了冒名顶替者ASV得分。此外,感知评估研究表明,转换后的语音不会对基线系统的语音质量产生不利影响。
2019-10-29 eess.AS
Measuring the Effectiveness of Voice Conversion on Speaker Identification and Automatic Speech Recognition Systems
本文评估了基于Cycle-GAN的语音转换器(VC)在四个说话人识别(SID)系统和自动语音识别(ASR)系统中的有效性。由VC模型转换的音频样本被SID系统分类为250多个扬声器中高达46%的前1精度的预期目标。这一令人鼓舞的模仿目标风格的结果促使我们研究转换(合成)样本是否可以用于改善ASR训练。不幸的是,将合成数据添加到ASR训练集只能略微提高单词和字符错误率。我们的研究结果表明,即使VC模型可以成功地模仿SID系统测量的目标扬声器的风格,提高ASR训练与VC系统的合成数据需要进一步的研究,以建立其功效。
2019-05-29 eess.AS
Multi-Scale Feature Fusion Transformer Network for End-to-End Single Channel Speech Separation
近年来,时域音频分离网络(TasNets)的研究在语音分离方面取得了很大的进展。最具代表性的TasNets之一是采用双路径分段方法的网络。然而,称为DPRNN的原始模型在网络的所有层中使用固定的特征尺寸和不变的段大小。本文在传统双通道结构的基础上,提出了一种多尺度特征融合Transformer网络(MSFFT-Net)用于单通道语音分离。不同于传统的双路径结构,其中只有一个处理路径存在,采用几个迭代块与交替块内和块间操作来捕获本地和全局上下文信息,建议MSFFT-Net具有多个并行处理路径,其中的特征信息可以在多个并行处理路径之间交换。实验结果表明,基于多尺度特征融合结构的网络在WSJ 0 - 2 mix上取得了比原双路径模型更好的结果,MSFFT-3 P的SI-SNRi得分为20.7dB(提高1.47%),MSFFT-2 P的SI-SNRi得分为21.0dB(提高3.45%),在WSJ 0 - 2 mix上实现了SOTA,无需任何数据增强方法.
2022-12-14 cs.SD eess.AS
Learning in your voice: Non-parallel voice conversion based on speaker consistency loss
在本文中,我们提出了一种新的语音转换策略,以解决训练和转换场景之间的不匹配时,并行语音语料库无法用于训练。基于自动编码器和解纠缠框架,我们设计了所提出的模型来提取身份和内容表示,同时重建输入语音信号本身。由于我们在训练过程中使用了其他说话人的身份信息,因此训练理念自然与语音转换过程的目标相匹配。此外,我们有效地设计了解纠缠框架,以可靠地保留语言信息,并提高转换后的语音信号的质量。该方法的优越性在主观听力测试以及客观的措施。
2020-11-04 eess.AS
Diarization-Aware Multi-Speaker Automatic Speech Recognition via Large Language Models
本文提出一种融合说话人分离与大语言模型的多说话人语音识别系统,通过结构化分离输入和帧级嵌入实现片段级转录,在高重叠会议场景中表现优异。
2025-06-06 eess.AS
Decaf: A privacy preserving speech codec using speaker disentanglement and canonical voice conversion
Microsoft(微软)
DECAF是一种隐私保护语音编解码器,通过说话人解耦和规范语音转换在0.5kbps下混淆声音,保持ASR性能,EER达43.5%,词错误率相对降低33.2%。
2026-09-18 eess.AS
UX-NET: Filter-and-Process-based Improved U-Net for Real-time Time-domain Audio Separation
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究提出了UX-Net,一个时域音频分离网络(TasNet)的基础上修改的U-Net架构。所提出的UX网络实时工作,并处理单个或多个麦克风输入。受基于滤波和处理的人类听觉行为的启发,所提出的系统引入了新颖的混合器和分离模块,从而实现了语音源的成本和存储器有效建模。混合器模块在潜在特征空间中组合编码输入,并输出期望数量的输出流。然后,在分离模块中,应用修改的U-Net(UX)块。UX块首先以各种分辨率对编码输入进行滤波,然后聚合滤波后的信息并应用递归处理来估计分离源的掩码。UX-Net中的字母“X”是UX块中使用的递归层类型的名称占位符。WSJ 0 - 2 mix基准测试数据集的实证结果表明,其中一种UX-Net配置的性能优于最先进的Conv-TasNet系统0.85 dB SI-SNR,同时仅使用16%的模型参数,计算量减少58%,并保持低延迟。
2022-10-28 cs.SD eess.AS
Identifying Source Speakers for Voice Conversion based Spoofing Attacks on Speaker Verification Systems
自动说话人确认系统旨在确认语音信号的说话人身份。然而,语音转换系统可以操纵一个人的语音信号,使其听起来像另一个说话者的声音,并欺骗说话者验证系统。针对基于语音转换的欺骗攻击的大多数对策被设计成用于区分说话人验证系统的真实语音和欺骗语音。在本文中,我们研究的问题,源说话人识别-推断身份的源说话人给定的语音转换语音。为了进行源说话人识别,我们只需在说话人嵌入网络训练期间将带有源说话人身份标签的语音转换语音数据添加到真实语音数据集。实验结果表明,当使用来自相同语音转换模型的转换语音进行训练和测试时,源说话人识别是可行的。此外,我们的研究结果表明,有更多的转换话语从各种语音转换模型的训练有助于提高源说话人识别性能转换话语从看不见的语音转换模型。
2022-10-31 cs.CR eess.AS
Accent and Speaker Disentanglement in Many-to-many Voice Conversion
Northwestern Polytechnical University(西北工业大学);iQIYI Inc(爱奇艺公司);Databaker (Beijing) Technology Co., Ltd.(北京数据方舟科技有限公司)
本文提出了一种有趣的语音和口音联合转换方法,它可以将任意源说话人的语音转换为具有非母语口音的目标说话人的语音。这个问题是具有挑战性的,因为每个目标说话人只有本地口音的训练数据,并且我们需要在转换模型训练中解开口音和说话人信息,并在转换阶段重新组合它们。在我们的合成-合成转换框架中,我们通过两个建议的技巧来解决这个问题。首先,我们使用口音相关的语音识别器,以获得不同口音的扬声器的瓶颈功能。这旨在消除BN特征中语言信息之外的其他因素,用于转换模型训练。其次,我们建议使用对抗性训练来更好地理清基于编码器-解码器的转换模型中的说话者和口音信息。具体来说,我们将一个辅助说话人分类器插入编码器,用对抗性损失训练,从编码器输出中消除说话人信息。实验表明,我们的方法优于基线。所提出的技巧是非常有效的,在改善重音和音频质量和扬声器相似性很好地保持。
2020-11-17 cs.SD eess.AS
Optimizing voice conversion network with cycle consistency loss of speaker identity
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学)
我们提出了一种新的训练方案,优化语音转换网络与说话人身份损失函数。训练方案不仅最小化帧级频谱损失,而且说话人身份损失。我们引入了一个周期的一致性损失,限制转换后的语音,以保持相同的扬声器身份作为参考语音在话语水平。虽然所提出的训练方案适用于任何语音转换网络,但我们在本文的平均模型语音转换框架下进行了研究。在CMU-ARCTIC和CSTR-VCTK语料库上进行的实验表明,该方法在说话人相似度方面优于基线方法。
2020-11-17 cs.SD eess.AS
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出端到端多任务的说话人轮次感知对话语音翻译模型,融合 ASR、ST 与轮次检测,并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
传统的语音转换(VC)一直专注于说话人身份转换的语音与中性的表达。我们注意到,情感表达在日常交流中起着至关重要的作用,言语的情感风格可能取决于说话者。在本文中,我们研究的技术,共同转换的说话人身份和说话人依赖的情感风格,即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射,该框架考虑了说话者依赖的情感风格,而不需要并行数据。为了实现这一点,我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别(SER)模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知,这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型,实现轻量级流式零样本有声与耳语语音转换,并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
GAZEV: GAN-Based Zero-Shot Voice Conversion over Non-parallel Speech Corpus
Yitu Technology(依图科技);National University of Singapore(新加坡国立大学)
非并行多对多语音转换近年来在语音处理领域引起了广泛的关注。一种语音转换系统,通过保持原始话语中的内容并替换为来自目标说话者的声音特征,将源说话者的话语转换为目标说话者的另一话语。现有的解决方案,例如,StarGAN-VC 2,目前有希望的结果,只有当语音语料库的参与发言人在模型训练。AUTOVC能够对看不见的说话者进行语音转换,但它需要一个外部的预先训练的说话者验证模型。在本文中,我们提出了我们新的基于GAN的zero-shot语音转换解决方案,称为GAZEV,其目标是在源和目标话语上支持看不见的说话者。我们的关键技术贡献是在GAN框架之上采用说话人嵌入损失,以及自适应实例归一化策略,以解决现有解决方案中说话人身份转移的局限性。我们的实证评估表明,输出语音质量和可比的扬声器相似性AUTOVC显着的性能改善。
2020-10-24 cs.SD eess.AS
SDP-Codec: A Speaker-Decoupled Speech Codec with Pitch Injection for Low-Bitrate Coding and Zero-Shot Voice Conversion
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
提出SDP-Codec,通过单阶段优化从预训练自监督编码器中提取局部令牌并注入归一化F0,实现说话人解耦,在低比特率下达到竞争性重构和强零样本语音转换,且说话人泄露最少。
2026-06-23 cs.SD eess.AS
Speaker Contrastive Learning for Source Speaker Tracing
Northwestern Polytechnical University(西北工业大学);China Telecom(中国电信);School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
针对语音转换攻击对说话人验证系统的威胁,本研究提出基于说话人对比学习的源说话人溯源方法,通过说话人对比损失学习转换语音中的源说话人表征,在IEEE SLT2024源说话人溯源挑战赛中以16.788%的最低EER获得第一名。
2024-09-16 cs.SD eess.AS
MSU-Bench: Towards Understanding the Conversational Multi-talker Scenarios
MSU(密歇根州立大学)
本文提出MSU-Bench,一个以说话人为中心的多说话人对话理解综合基准,通过四个递进层级评估模型,发现随着任务复杂度增加模型性能显著下降,且开源与闭源模型在多说话人交互推理上存在持续差距。
2025-08-11 cs.SD eess.AS
One-shot Voice Conversion For Style Transfer Based On Speaker Adaptation
Northwestern Polytechnical University(西北工业大学);NetEase Inc.(网易公司)
一次性风格迁移是一项具有挑战性的任务,因为对一个话语的训练使得模型非常容易过拟合到训练数据,并导致说话人相似度低和缺乏表达力。在本文中,我们建立的发音合成框架,并提出了一个一次性的语音转换方法的风格转移的基础上说话人自适应。首先,采用说话人归一化模块去除ASR提取的瓶颈特征中的说话人相关信息。其次,在自适应过程中采用权重正则化,以防止由于只使用目标说话人的一个话语作为训练数据而导致的过拟合。最后,为了全面地解耦语音因素,即,内容、说话者、风格,并将源风格传递到目标,韵律模块用于提取韵律表示。实验表明,我们的方法是优于国家的最先进的单镜头VC系统的风格和说话人的相似性,此外,我们的方法也保持了良好的语音质量。
2022-02-21 cs.SD eess.AS
Multi-level Temporal-channel Speaker Retrieval for Zero-shot Voice Conversion
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);ByteDance(字节跳动)
针对零样本语音转换中说话人建模不充分的问题,提出带多层级时间-通道检索的MTCR-VC模型,结合循环训练策略,在保持语音自然度的同时提升了音色建模效果。
2024-05-19 cs.SD eess.AS
Building Bilingual and Code-Switched Voice Conversion with Limited Training Data Using Embedding Consistency Loss
Duke Kunshan University(昆山杜克大学);Sun Yat-sen University(中山大学);Wuhan University(武汉大学);Advanced Computing East China Sub-center(先进计算华东分中心)
长期以来,为多个说话者和多种语言构建跨语言语音转换(VC)系统一直是一项具有挑战性的任务。本文描述了一种并行的非自回归网络,以实现双语和代码切换的语音转换,多个扬声器时,只有单语种语料库的每种语言。通过应用双语瓶颈特征,实现了多说话人汉语语音和多说话人英语语音的跨语言VC。为了提高语音克隆的性能,我们使用一个带有梯度反转层的对抗性说话人分类器来减少编码器输出中的源说话人信息。此外,为了提高参考语音和转换语音之间的说话人相似性,我们在我们的网络中采用合成语音和其自然参考语音之间的嵌入一致性损失。实验结果表明,我们提出的方法可以实现高质量的转换语音的平均意见得分(MOS)约4。该转换系统在说话人相似度方面表现良好,无论是集内说话人转换还是集外一次转换。
2021-04-22 cs.SD eess.AS
Learning Noise-independent Speech Representation for High-quality Voice Conversion for Noisy Target Speakers
Tencent AI Lab(腾讯人工智能实验室)
构建一个语音转换系统的嘈杂的目标扬声器,如用户提供嘈杂的样本或互联网上找到的数据,是一个具有挑战性的任务,因为在模型训练中使用污染的语音将明显降低转换性能。在本文中,我们利用我们最近提出的Glow-WaveGAN的进步,并提出了一个独立于噪声的语音表示学习方法,用于高质量的语音转换嘈杂的目标扬声器。具体来说,我们学习一个潜在的特征空间,在这里我们确保转换模型建模的目标分布完全来自波形发生器的建模分布。在此前提下,我们进一步设法使潜在特征是噪声不变的。具体来说,我们介绍了一个噪声可控的WaveGAN,它直接学习噪声独立的声学表示波形的编码器和进行噪声控制在隐藏空间通过一个电影模块在解码器。至于转换模型,重要的是,我们使用一个基于流的模型来学习分布的噪声无关,但说话人相关的潜在功能,从音素后验图。实验结果表明,该模型在含噪目标说话人的语音转换中具有较高的语音质量和说话人相似度。
2022-07-02 cs.SD eess.AS
On Time Domain Conformer Models for Monaural Speech Separation in Noisy Reverberant Acoustic Environments
The University of Sheffield(谢菲尔德大学)
本文提出时域Conformer模型用于噪声混响环境下的单声道语音分离,通过子采样层提升效率,在WHAMR和WSJ0-2Mix基准上分别取得14.6 dB和21.2 dB的SISDR改进。
2023-10-09 cs.AI cs.LG cs.SD