Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency
Sony Europe B.V.(索尼欧洲有限公司)
近年来,基于生成对抗网络(GAN)的模型已经成功地应用于无监督语音到语音转换,而幅度谱图丰富紧凑的谐波视图被认为是用音频数据训练这些模型的合适选择。为了重建语音信号,首先由神经网络生成幅度谱图,然后由Griffin-Lim算法等方法利用该幅度谱图来重建相位谱图。该过程存在生成的幅度谱图可能不一致的问题,这是找到相位所需的,使得完整的谱图具有听起来自然的语音波形。在这项工作中,我们通过提出一个在对抗训练过程中鼓励谱图一致性的条件来解决这个问题。我们展示了我们的方法上的任务翻译的声音的男性发言者的女性发言者,反之亦然。我们的实验结果表明,与TF一致性训练的模型提供了一个更好的语音到语音转换的感知质量。
2020-05-19 cs.LG cs.SD eess.AS
Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
单通道非特定人语音分离方法近年来取得了很大的进展。然而,这种方法的准确性、延迟和计算成本仍然不足。大多数以前的方法都是通过混合信号的时频表示来表达分离问题,这有几个缺点,包括信号的相位和幅度的解耦,用于语音分离的时频表示的次优性,以及计算频谱图的长延迟。为了解决这些缺点,我们提出了一个全卷积时域音频分离网络(Conv-TasNet),这是一个用于端到端时域语音分离的深度学习框架。Conv-TasNet使用线性编码器来生成语音波形的表示,该表示针对分离单个扬声器进行了优化。说话人分离是通过对编码器输出应用一组加权函数(掩码)来实现的。然后使用线性解码器将修改的编码器表示反转回波形。使用由堆叠的1-D扩张卷积块组成的时间卷积网络(TCN)来找到掩码,这允许网络对语音信号的长期依赖性进行建模,同时保持小的模型大小。所提出的Conv-TasNet系统在分离两个和三个扬声器混合物方面显着优于以前的时频掩蔽方法。此外,Conv-TasNet在两个扬声器语音分离中超过了几个理想的时频幅度掩模,这是通过客观失真测量和人类听众的主观质量评估来评估的。最后,Conv-TasNet具有更小的模型大小和更短的最小延迟,使其成为离线和实时语音分离应用的合适解决方案。
2019-05-15 cs.LG cs.SD eess.AS
Improved Speech Separation with Time-and-Frequency Cross-domain Joint Embedding and Clustering
National Taiwan University(台湾大学)
语音分离在深度学习技术方面非常成功。基于频谱图的方法已经报道了大量的努力,频谱图是众所周知的语音信号的标准时间和频率跨域表示。它与语音的语音结构高度相关,或者当被人类感知时“语音听起来如何”,但主要是承载时间行为的频域特征。最近有报道说,在时域上实现语音分离的工作非常令人印象深刻,这可能是因为时域中的波形可以以比谱图更精确的方式描述语音的不同实现。在本文中,我们提出了一个框架,适当地结合上述两个方向,希望达到这两个目的。我们通过连接一维卷积编码特征图(时域)和频谱图(频域)来构建时间和频率特征图,然后通过嵌入网络和聚类方法进行处理,这些方法与时域和频域先前的工作非常相似。通过这种方式,在嵌入和聚类过程中可以联合考虑时域和频域中的信息以及它们之间的相互作用。在初步实验中,使用WSJ 0 - 2 mix数据集获得了非常令人鼓舞的结果(据我们所知是最先进的)。
2019-04-16 cs.LG cs.SD eess.AS
Complex-Valued Time-Frequency Self-Attention for Speech Dereverberation
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
当深度复杂神经网络(DCNN)与自注意(SA)网络相结合时,几个语音处理系统已经表现出相当大的性能改进。然而,大多数基于DCNN的语音去混响研究采用自我注意力,并没有明确考虑到计算注意力时真实和想象特征之间的相互依赖性。在这项研究中,我们提出了一个复值T-F注意(TFA)模块,通过计算跨时间和频率维度的二维注意图来建模频谱和时间依赖性。我们使用REVERB挑战语料库验证了我们提出的复值TFA模块与深度复卷积递归网络(DCCRN)的有效性。实验结果表明,将我们的复杂的TFA模块与DCCRN集成,提高了整体语音质量和性能的后端语音应用程序,如自动语音识别,与早期的自我注意的方法相比。
2022-11-22 cs.LG cs.SD eess.AS
TF-MLPNet: Tiny Real-Time Neural Speech Separation
Paul G. Allen School of Computer Science \& Engineering, University of Washington
TF-MLPNet是首个能在低功耗可听设备加速器上实时运行的语音分离网络,通过时频域交替全连接层与卷积处理,在GAP9上实现6毫秒音频块实时处理,运行时间较现有模型减少3.5-4倍。
2025-08-05 cs.LG cs.SD eess.AS
Speech Emotion Recognition via an Attentive Time-Frequency Neural Network
Southeast University(东南大学)
语谱图通常被用作深度神经网络的输入特征,以学习用于语音情感识别(SER)的语音信号的高(较)级别时频模式。为了解决这些问题,我们提出了一种用于SER的注意时频神经网络(ATFNN),包括时频神经网络(TFNN)和时频注意。具体来说,针对第一个问题,我们设计了一个TFNN,其频域编码器(F-Encoder)基于Transformer编码器,时域编码器(T-Encoder)基于双向长短期记忆(Bi-LSTM)。F-Encoder和T-Encoder分别对频带和时间帧内的相关性进行建模,并将其嵌入到时频联合学习策略中,以获得语音情感的时频模式。此外,为了处理第二个问题,我们还采用了频率-注意力网络(F-Attention)和时间-注意力网络(T-Attention)的时间-频率注意力集中在情感相关的频带范围和时间帧范围,这可以提高语音情感特征的可区分性。
2022-10-22 cs.LG cs.MM cs.SD
Non-linear frequency warping using constant-Q transformation for speech emotion recognition
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
在这项工作中,我们探讨了恒Q变换(CQT)的语音情感识别(SER)。基于CQT的时频分析提供可变的谱时间分辨率,在较低频率处具有较高的频率分辨率。由于语音信号的低频区域比高频区域包含更多的情感相关信息,CQT的低频分辨率的提高使得它比标准短时傅里叶变换(STFT)更有希望用于SER。我们提出了一种基于STFT和CQT的SER短期声学特征的比较分析,深度神经网络(DNN)作为后端分类器。我们为这两个特征优化了不同的参数。基于CQT的特征优于基于STFT的光谱特征用于SER实验。进一步的跨语料评估实验表明,基于CQT的系统提供了更好的泛化与域外训练数据。
2021-02-08 cs.LG cs.SD eess.AS
A comprehensive study of speech separation: spectrogram vs waveform separation
Tencent(腾讯)
在过去的几年里,语音分离已经被广泛研究用于单通道近距离麦克风录音;开发的解决方案大多是在频域中。最近,针对单通道数据引入了原始音频波形分离网络(TasNet),与频域中的最新解决方案相比,该网络实现了高的Si-SNR(尺度不变源噪声比)和SDR(源失真比)。在这项研究中,我们将有效成分的TasNet到频域分离方法。我们比较两者的替代方案。我们介绍了一种解决方案,直接优化频域网络中的分离准则。除了语音分离的客观和主观的测量,我们评估分离性能的语音识别任务以及。我们研究了远场数据(更类似于自然的音频流)的语音分离问题,并利用频谱,空间和扬声器位置信息开发了频域和时域分离器的多通道解决方案。对于我们的实验,我们模拟了多通道空间混响WSJ 0 - 2 mix数据集。我们的实验结果表明,频谱图分离可以实现更好的网络设计的竞争力的性能。多通道框架也被证明可以相对提高单通道性能,WER和SDR分别达到+35.5%和+46%。
2019-07-23 cs.LG cs.SD eess.AS
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart(斯图加特大学)
自动语音识别(ASR)系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此,语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中,生成对抗网络(GAN)为基础的框架进行了研究的语音增强的任务,更具体地说,语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后,所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
SkipConvGAN: Monaural Speech Dereverberation using Generative Adversarial Networks via Complex Time-Frequency Masking
University of Texas at Dallas(德克萨斯大学达拉斯分校)
随着深度学习方法的进步,语音增强系统在存在背景噪声的情况下的性能已经显示出显着的改善。然而,提高系统对混响的鲁棒性仍然是一项正在进行的工作,因为混响往往会由于时间和频率上的拖尾效应而导致共振峰结构的损失。各种基于深度学习的系统要么增强幅度响应并重新使用失真相位,要么使用复杂的时频掩模增强复杂的频谱图。虽然这些方法已经证明了令人满意的性能,但它们不能直接解决由混响引起的共振峰结构丢失。我们相信,共振峰结构的检索可以帮助提高现有系统的效率。在这项研究中,我们提出了SkipConvGAN-我们以前的工作SkipConvNet的扩展。所提出的系统的发电机网络试图估计一个有效的复杂的时间-频率掩模,而在驱动发电机恢复丢失的共振峰结构的ESTA网络的援助。我们评估我们提出的系统的性能,从单通道任务的REVERB挑战语料库的混响语音的模拟和真实录音。与其他基于深度学习的生成对抗框架相比,该系统在多个房间配置中表现出一致的改进。
2022-11-22 cs.LG cs.SD eess.AS
PoCoNet: Better Speech Enhancement with Frequency-Positional Embeddings, Semi-Supervised Conversational Data, and Biased Loss
Amazon Web Services(亚马逊云科技)
神经网络应用通常受益于更大尺寸的模型,但对于当前的语音增强模型,更大规模的网络通常会遭受对各种真实世界用例的鲁棒性降低,超出训练数据中遇到的情况。我们介绍了几个创新,导致更好的大型神经网络的语音增强。新型PoCoNet架构是一种卷积神经网络,通过使用频率位置嵌入,能够更有效地在早期层中构建频率相关特征。半监督方法通过预增强噪声数据集来帮助增加会话训练数据量,从而提高真实录音的性能。一个新的损失函数偏向于保持语音质量,帮助优化更好地匹配人类对语音质量的感知意见。烧蚀实验和客观的和人的意见指标显示所提出的改进的好处。
2020-08-11 cs.LG cs.NE cs.SD
Learning During Detection: Continual Learning for Neural OFDM Receivers via DMRS
Advanced Wireless Technology Lab, Huawei Technologies Canada Co. Ltd(华为加拿大技术有限公司先进无线技术实验室)
本文提出通过DMRS实现神经OFDM接收器的持续学习方法,利用现有导频信号同时完成信号解调和模型适应,减少计算复杂性并提升信道变化适应能力。
2026-02-23 cs.AI cs.IT cs.LG
Using recurrences in time and frequency within U-net architecture for speech enhancement
StethoMe(StethoMe公司);Poznan University of Technology(波兹南理工大学)
当设计全卷积神经网络时,在网络的较深层中的感受野大小、参数数量和特征的空间分辨率之间存在折衷。在这项工作中,我们提出了一种新的网络设计,基于许多卷积层和递归层的组合,解决了这些难题。我们比较我们的解决方案与U-网为基础的模型,从文献和其他基线模型的语音增强任务。我们测试我们的解决方案TIMIT语音话语结合噪声段从NOISEX-92数据库中提取的SDR(信号失真比),SIR(信号干扰比)和STOI(光谱时间客观可懂度)指标相比,目前最先进的提出的解决方案具有明显的优势。
2018-11-16 cs.LG cs.SD eess.AS
Pitch-Synchronous Single Frequency Filtering Spectrogram for Speech Emotion Recognition
National Institute of Technology Patna(巴特那国家理工学院)
卷积神经网络(CNN)被广泛用于语音情感识别(SER)。在这种情况下,短时傅里叶变换(STFT)频谱图是表示语音的最流行的选择,其作为输入被馈送到CNN。然而,短时傅里叶变换的不确定性原理使其不能同时获得时间和频率分辨率。另一方面,最近提出的单频滤波(SFF)频谱图有望成为一个更好的选择,因为它同时捕获时间和频率分辨率。在这项工作中,我们探索的SFF频谱图作为一种替代表示的SER的语音。我们已经修改了SFF频谱图,采取两个连续的声门闭合瞬间(GCI)位置之间的所有样本的幅度的平均值。两个连续的GCI位置之间的持续时间给出了音高,促使我们将修改后的SFF频谱图命名为音高同步SFF频谱图。采用零频滤波方法检测GCI位置。所提出的音高同步SFF谱图在IEMOCAP数据集上产生了63.95%(未加权)和70.4%(加权)的准确度值。这些对应于使用CNN的STFT频谱图的最新结果的+7.35%(未加权)和+4.3%(加权)的改善。特别地,所提出的方法正确识别了22.7%的快乐情绪样本,而对于最先进的结果,这个数字是0%。这些结果也保证了更广泛的使用所提出的音高同步SFF频谱图的其他语音为基础的应用。
2019-08-07 cs.LG cs.SD eess.AS
Deep scattering network for speech emotion recognition
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
介绍了一种基于散射变换的语音情感识别方法。散射变换生成的特征表示在时间和频率上对变形和移位保持稳定,而不会丢失太多信息。在言语中,情感线索在时间上分散,在频率上局部化。散射系数的时间和频率不变性特性提供了对情感无关变化鲁棒的表示,不同的说话者、语言、性别等,同时保留由情感线索引起的变化。因此,这样的表示更有效地从语音中捕获情感信息。我们进行实验,比较散射系数与标准的梅尔频率倒谱系数(MFCC)在不同的数据库。据观察,频率散射性能优于时域散射和MFCC。我们还调查了逐层散射系数,以分析时移和变形稳定的尺度图和调制谱系数的SER的重要性。我们观察到,独立采取的逐层系数也比MFCC更好地执行。
2021-05-11 cs.LG cs.SD eess.AS
Trainable Adaptive Window Switching for Speech Enhancement
NTT Media Intelligence Laboratories(NTT媒体情报实验室);The University of Electro-Communications(电气通信大学)
本文提出了一种可训练的自适应窗口切换(AWS)方法,并将其应用于深度神经网络(DNN),在改进的离散余弦变换域中进行语音增强。短时傅里叶变换域的时频掩蔽处理是一种典型的语音增强方法。为了精确地恢复目标信号,最近已经研究并使用基于DNN的短时频率变换来代替STFT。然而,由于这种固定分辨率的短时频率变换方法具有基于不确定性原理的T-F分辨率问题,因此不仅短时频率变换而且加窗函数的长度都应该被优化。为了克服这个问题,我们将AWS纳入到语音增强过程中,并且根据输入信号使用DNN来操纵每个时间帧的窗口函数。我们证实,所提出的方法实现了更高的信号失真比比传统的语音增强方法在固定分辨率的频域。
2019-02-19 cs.LG cs.SD eess.AS
Speech Denoising by Accumulating Per-Frequency Modeling Fluctuations
Tel Aviv University(特拉维夫大学)
我们提出了一种音频去噪的方法,该方法结合了在时域和时频域中进行的处理。给定有噪声的音频片段,该方法训练深度神经网络来拟合该信号。由于拟合仅部分成功,并且能够比噪声更好地捕获潜在的干净信号,因此网络的输出有助于将干净音频与其余信号分离。这是通过累积每个时间-频率仓的拟合分数并基于所获得的分数应用时间-频率域滤波来完成的。该方法是完全无监督的,并且仅在正在被去噪的特定音频片段上训练。我们的实验表明,与文献方法相比,良好的性能。我们的代码和示例可在www.example.com上获得,并作为补充。索引术语:音频去噪;无监督学习
2020-06-08 cs.LG cs.SD eess.AS
FastPitch: Parallel Text-to-speech with Pitch Prediction
NVIDIA Corporation(英伟达公司)
我们提出了FastPitch,一个基于FastSpeech的完全并行的文本转语音模型,条件是基频轮廓。该模型在推理过程中预测音高轮廓。通过改变这些预测,生成的语音可以更有表现力,更好地匹配话语的语义,最终更吸引听众。使用FastPitch均匀地增加或减少音高会产生类似于语音的自愿调制的语音。对频率轮廓的调节提高了合成语音的整体质量,使其与最先进的技术相媲美。它不会引入开销,FastPitch保留了有利的全并行Transformer架构,具有超过900倍的实时因子,用于典型话语的梅尔频谱图合成。
2021-02-16 cs.CL cs.LG cs.SD
Mel Frequency Spectral Domain Defenses against Adversarial Attacks on Speech Recognition Systems
USC Ming Hsieh Department of Electrical and Computer Engineering(南加州大学明谢电子与计算机工程系)
最近的各种工作已经研究了深度神经网络对对抗性攻击的防御,特别是在图像处理领域。诸如自动语音识别(ASR)等语音处理应用越来越依赖于深度学习模型,因此也容易受到对抗性攻击。然而,许多针对ASR探索的防御只是适应图像域防御,这可能无法提供最佳的鲁棒性。本文探讨了使用梅尔频谱域的语音特定的防御,并介绍了一种新的防御方法称为梅尔域噪声淹没(MDNF)。MDNF在重新合成音频信号之前将加性噪声应用于语音话语的梅尔频谱图。我们测试了对强白盒对抗攻击(如投影梯度下降(PGD)和Carlini-Wagner(CW)攻击)的防御,并在强威胁模型中显示出比随机平滑基线更好的鲁棒性。
2022-03-29 cs.LG eess.AS
TasNet: time-domain audio separation network for real-time, single-channel speech separation
Columbia University(哥伦比亚大学)
多人环境中的鲁棒语音处理需要有效的语音分离。最近的深度学习系统在解决这个问题方面取得了重大进展,但它仍然具有挑战性,特别是在实时的【形】、短延迟应用中。大多数方法试图在混合信号的时频表示中为每个源构建掩码,这不一定是语音分离的最佳表示。此外,时频分解导致固有的问题,如相位/幅度解耦和长时间窗口,这是需要达到足够的频率分辨率。我们提出了时域音频分离网络(TasNet)来克服这些限制。我们使用编码器-解码器框架直接在时域中对信号建模,并对非负编码器输出执行声源分离。该方法去除了频率分解步骤,并将分离问题简化为估计编码器输出上的源掩码,然后由解码器合成。我们的系统优于目前最先进的因果和非因果语音分离算法,降低了语音分离的计算成本,并显着降低了所需的最低延迟的输出。这使得TasNet适用于需要低功耗、实时的【形】实施的应用,例如听觉和电信设备。
2018-04-18 cs.LG cs.MM cs.NE
DeepFilterNet: A Low Complexity Speech Enhancement Framework for Full-Band Audio based on Deep Filtering
WS Audiology(WS听力集团)
复值处理将基于深度学习的语音增强和信号提取带到了一个新的水平。通常,该过程基于应用于噪声频谱图的时频(TF)掩模,而复数掩模(CM)由于其修改相位的能力而通常优于实值掩模。最近的工作建议使用复数滤波器,而不是与掩码的逐点乘法。这允许利用每个频段内的局部相关性来合并来自先前和未来时间步长的信息。在这项工作中,我们提出了DeepFilterNet,一个两阶段的语音增强框架,利用深度过滤。首先,我们使用ERB缩放增益来增强频谱包络,从而模拟人类的频率感知。第二阶段采用深度滤波来增强语音的周期性分量。除了利用语音的感知特性之外,我们还通过可分离卷积和线性和递归层中的广泛分组来增强网络稀疏性,以设计低复杂度架构。我们进一步表明,我们的两级深度滤波方法在各种频率分辨率和延迟上优于复杂掩码,并与其他最先进的模型相比,证明了令人信服的性能。
2022-02-01 cs.LG eess.AS eess.SP