Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law(中国政法大学);Institute of High Performance Computing(高性能计算研究所)
深度学习方法已广泛应用于序列建模问题。在自动语音识别(ASR)方面,通过增加大规模语音语料库和更深层次的神经网络,其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题,本文提出了一种新的深度递归卷积网络用于声学建模,并将深度残差学习应用于其中,实验结果表明,与传统的深度递归卷积网络相比,它不仅具有更快的收敛速度,而且具有更高的识别精度。在实验中,我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度,我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明,应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后,我们用我们提出的双向统计n-gram语言模型通过音素出错率(PER)来评估我们所有的实验网络。我们的评估结果表明,我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER,并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明,它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition
University of Southern California(南加州大学)
由于深度卷积神经网络能够减少变化因素,因此在包括语音识别、音频事件检测和计算语言学在内的广泛的语音和音频处理应用中正在积极研究深度卷积神经网络,以从语音中学习。然而,研究已经建议在构建用于语音应用的深度卷积神经网络时偏向于某种类型的卷积运算,尽管使用不同类型的卷积运算已经有了有希望的结果。在这项工作中,我们研究了四种类型的卷积运算在不同的输入功能语音情感识别在嘈杂和干净的条件下,以获得全面的理解。由于情感行为信息已被证明反映了精神状态的时间变化,并且卷积运算在时间上被局部应用,因此所有深度神经网络共享深度递归子网络架构以用于进一步的时间建模。我们提出了详细的定量模块性能分析,以深入了解所提出的架构内的信息流。特别是,我们展示了情感信息和其他无关信息的相互作用,从一个模块到另一个的进展。最后,我们证明了我们所有的深度神经网络在eNTERFACE'05语料库上提供了最先进的性能。
2018-01-13 cs.CL cs.LG cs.MM
Raw Waveform-based Speech Enhancement by Fully Convolutional Networks
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学资讯工程学系);National Institute of Information and Communications Technology(国立信息通信技术研究所)
本研究提出一种全卷积网络(FCN)模型,用于基于原始波形的语音增强。所提出的系统在端到端(即,波形输入和波形输出)方式,这不同于处理幅度谱的大多数现有去噪方法(例如,对数功率谱(LPS))。由于深度神经网络(DNN)和卷积神经网络(CNN)中涉及的全连接层可能无法准确表征语音信号的局部信息,特别是高频分量,因此我们采用全卷积层来建模波形。更具体地说,FCN仅由卷积层组成,因此语音信号的局部时间结构可以用相对较少的权重有效地保留。实验结果表明,基于DNN和CNN的模型恢复波形高频分量的能力有限,从而导致增强语音的可懂度降低。相比之下,所提出的FCN模型不仅可以有效地恢复波形,而且在短时客观可懂度(STOI)和语音质量感知评估(PESQ)方面优于基于LPS的DNN基线。此外,与DNN和CNN相比,FCN中的模型参数数量仅约为0.2%。
2017-06-15 cs.LG cs.SD stat.ML
Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield(谢菲尔德大学)
语音去混响是许多语音技术应用中的一个重要阶段。最近在这一领域的工作一直由深度神经网络模型主导。时间卷积网络(TCN)是深度学习模型,已被提出用于语音去混响任务中的序列建模。在这项工作中,加权多膨胀深度可分离卷积提出了取代标准的深度可分离卷积TCN模型。这种建议的卷积使TCN能够动态地关注网络中每个卷积块的感受野中或多或少的局部信息。结果表明,这种加权多膨胀时间卷积网络(WD-TCN)在各种模型配置中始终优于TCN,并且使用WD-TCN模型是一种比增加卷积块数量更有效的参数方法来提高模型的性能。与基线TCN相比,最佳性能改善为0.55 dB尺度不变信号失真比(SISDR),而WD-TCN模型在WHAMR数据集上的最佳性能达到12.26 dB SISDR。
2022-07-22 cs.LG cs.SD eess.AS
Three-class Overlapped Speech Detection using a Convolutional Recurrent Neural Network
Naver Corporation(NAVER 公司)
在这项工作中,我们提出了一个重叠的语音检测系统训练为三级分类。与传统的系统,执行二进制分类是否包含重叠的语音帧,所提出的方法分为三类:非语音,单扬声器语音,和重叠的语音。通过使用更详细的标签定义训练网络,模型可以更好地确定给定帧中包含的扬声器数量。卷积递归神经网络架构被探索以受益于卷积层对局部模式进行建模的能力和递归层对顺序信息进行建模的能力。提出的重叠语音检测模型在DIHARD II评估集中建立了最先进的性能,精确度为0.6648,召回率为0.3222,显示召回率增加了20%,精确度也更高。此外,我们还介绍了一个简单的方法,利用建议的重叠语音检测模型的说话人日记,排名第三位的轨道1的DIHARD III挑战。
2021-04-07 cs.LG cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University(普渡大学)
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行,合成语音在今天是常见的。合成语音也可以用于邪恶的目的,包括创建一个声称的语音信号,并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中,我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer(CCT)的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络,从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练,我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
Learning linearly separable features for speech recognition using convolutional neural networks
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
自动语音识别系统通常依赖于基于频谱的特征,例如PLP的MFCC。这些特征基于诸如语音感知或/和语音产生的先验知识来提取。最近,卷积神经网络已经被证明能够以完全数据驱动的方式来估计音素条件概率,即,直接使用时间原始语音信号作为输入。该系统在音素识别任务和大规模连续语音识别任务中,使用较少的参数,产生与基于HMM/ANN的系统相似或更好的性能。受这些研究的启发,我们研究了在基于CNN的框架中使用简单的线性分类器。因此,网络从原始语音中学习线性可分离的特征。我们表明,这样的系统产生类似或更好的性能比基于MLP的系统使用基于倒谱的功能作为输入。
2015-04-16 cs.CL cs.LG cs.NE
Speech segmentation using multilevel hybrid filters
提出了一种新的语音分割方法,基于多级混合(均值/最小值)滤波器(MHF)具有以下特点:准确的过渡位置。在噪声环境(高斯噪声和脉冲噪声)中性能良好。所提出的方法是基于频谱的变化,与分割成均匀的声学段的语音的目标。该算法已用于语音分段语音编码器中,取得了较好的效果。
2022-02-24 cs.LG cs.SD eess.AS
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing(语音及语言信息处理国家工程实验室);University of Science and Technology of China(中国科学技术大学)
语音情感识别是一项具有挑战性的任务,主要原因有三个:1)人类情感是抽象的,这意味着很难区分; 2)一般来说,人类情感只能在长话语中的某些特定时刻被检测到; 3)带有情感标签的语音数据通常是有限的。在本文中,我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络,因为它能够处理可变长度的语音,无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性,采用迁移学习的方法来提高识别精度。特别是,有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证,该模型的加权准确率为70.4%,未加权准确率为63.9%,优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses
Alibaba Group(阿里巴巴集团)
针对单声道语音增强任务,提出轻量级复卷积块注意力模块(CCBAM)并结合联合时频损失函数,集成到深度复U-Net和CRN中形成新端到端框架,实验验证其性能优越。
2024-11-28 cs.LG cs.SD eess.AS
Beyond Low-pass Filtering: Graph Convolutional Networks with Automatic Filtering
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);Griffith University(格里菲斯大学)
图卷积网络对于从图结构数据进行深度学习变得不可或缺。现有的大多数图卷积网络都有两个大的缺点。首先,它们本质上是低通滤波器,因此忽略了图形信号的潜在有用的中高频带。其次,现有的图卷积滤波器的带宽是固定的。图卷积滤波器的参数仅变换图输入,而不改变图卷积滤波器函数的曲率。事实上,除非我们有专业的领域知识,否则我们不确定是否应该在某个点保留或切断频率。在本文中,我们提出了自动图卷积网络(AutoGCN),以捕捉全频谱的图信号和自动更新的带宽图卷积滤波器。虽然它是基于图谱理论,我们的AutoGCN也是本地化的空间,并具有空间形式。实验结果表明,AutoGCN实现了显着的改善基线方法,只作为低通滤波器。
2022-06-22 cs.AI cs.LG
Speech Paralinguistic Approach for Detecting Dementia Using Gated Convolutional Neural Network
Tokyo Institute of Technology(东京工业大学);Keio University School of Medicine(庆应义塾大学医学部)
我们提出了一种非侵入性和成本效益的方法来自动检测痴呆症,仅利用语音音频数据。我们提取一个简短的语音片段的语言特征,并使用门控卷积神经网络(GCNN)将其分类为痴呆或健康。我们评估我们的方法上皮特语料库和我们自己的数据集,PROMPT数据库。我们的方法产生的准确性为73.1%的皮特语料库使用平均114秒的语音数据。在PROMPT数据库中,我们的方法使用4秒的语音数据产生74.7%的准确率,当我们使用所有患者的语音数据时,它提高到80.8%。此外,我们评估我们的方法上的三个类别的分类问题,其中我们包括轻度认知障碍(MCI)类,并实现了60.6%的准确率与40秒的语音数据。
2020-10-06 cs.LG cs.SD eess.AS
Convolutional-Recurrent Neural Networks for Speech Enhancement
Microsoft Research(微软研究院)
我们提出了一种基于卷积和循环神经网络的端到端语音增强模型。我们的模型纯粹是数据驱动的,不对噪声的类型或平稳性做任何假设。与使用多层感知器(MLP)的现有方法相比,我们采用卷积和递归神经网络架构。因此,我们的方法使我们能够利用频域和时间域中的局部结构。通过将语音信号的先验知识结合到模型结构的设计中,我们建立了一个模型,该模型具有更高的数据效率,并且对可见和不可见的噪声都具有更好的泛化能力。基于对合成数据的实验,我们证明了我们的模型优于现有的方法,在可见噪声和不可见噪声上分别将PESQ提高了0.6和0.64。
2018-05-02 cs.CL cs.LG cs.SD
Receptive Field Analysis of Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield(谢菲尔德大学)
语音去混响通常是鲁棒语音处理任务中的重要要求。有监督的深度学习(DL)模型为单通道语音去混响提供了最先进的性能。时间卷积网络(TCN)通常用于语音增强任务中的序列建模。TCN的一个特征是它们具有依赖于特定模型配置的感受野(RF),该模型配置确定可以被观察以产生单个输出帧的输入帧的数量。它已被证明,TCN是能够执行去混响的模拟语音数据,然而,一个彻底的分析,特别是与RF的重点还缺乏在文献中。本文分析了TCN的模型尺寸和RF对混响抑制性能的影响。实验使用WHAMR语料库,扩展到包括房间脉冲响应(RIR)与较大的T60值表明,一个较大的RF可以有显着的改善性能时,训练较小的TCN模型。它还表明,TCN受益于更广泛的RF时,去混响RIR与较大的RT60值。
2022-07-01 cs.LG cs.SD eess.AS
Analyzing Large Receptive Field Convolutional Networks for Distant Speech Recognition
尽管在过去几年中为构建用于不同声学设置的鲁棒的自动语音识别(ASR)系统做出了重大努力,但是当前最先进技术的性能在嘈杂的混响环境中显著降低。卷积神经网络(CNN)已经成功地用于在包括远程语音识别(DSR)在内的许多语音处理应用中实现实质性的改进。然而,标准的CNN架构在捕获长期语音动态方面效率不高,而这在鲁棒DSR系统的设计中是必不可少的。在本研究中,我们通过研究大感受野CNN(LRF-CNN)的变体来解决这个问题,这些变体包括深度递归网络、扩张卷积神经网络和堆叠沙漏网络。为了比较上述架构与华尔街日报(WSJ)语料库的标准CNN的功效,我们使用基于混合DNN-HMM的语音识别系统。我们扩展的研究,以评估系统的性能,远距离语音模拟使用现实的房间脉冲响应(RIR)。我们的实验表明,在所有架构中使用固定数量的参数,大型感受野网络在远距离语音方面表现出比标准CNN一致的改进。在探索的LRF-CNN中,堆叠沙漏网络显示出改进,与远距离模拟语音信号的标准CNN相比,字错误率(WER)相对降低8.9%,帧准确度相对提高10.7%。
2019-10-15 cs.LG cs.SD eess.AS
Towards End-to-End Speech Recognition with Deep Convolutional Neural Networks
卷积神经网络(CNN)是一种有效的模型,用于减少频谱变化和模拟自动语音识别(ASR)中声学特征的频谱相关性。混合语音识别系统结合CNN与隐马尔可夫模型/高斯混合模型(HALF/GALF)已经达到了各种基准的最先进的。同时,提出了用于标记未分割序列的带有递归神经网络(RNNs)的连接主义时间分类(CTC),这使得训练端到端语音识别系统而不是混合设置成为可能。然而,RNN在计算上是昂贵的,并且有时难以训练。在本文中,受CNN和CTC方法的优点的启发,我们提出了一个用于序列标记的端到端语音框架,通过将分层CNN与CTC直接结合而无需递归连接。通过评估TIMIT音素识别任务的方法,我们表明,所提出的模型不仅是计算效率高,而且与现有的基线系统的竞争力。此外,我们认为CNN有能力利用适当的上下文信息对时间相关性进行建模。
2017-01-10 cs.CL cs.LG stat.ML
Focal Loss based Residual Convolutional Neural Network for Speech Emotion Recognition
Samsung R&D Institute India – Bangalore(三星印度研发研究院(班加罗尔));University of Southern California(南加州大学)
针对语音情感识别问题,本文提出基于语谱图、MFCCs等语音特征,结合焦点损失训练的残差卷积神经网络,通过聚焦难例优化训练,提升情感识别效果。
2019-06-11 cs.AI cs.LG cs.SD
CCATMos: Convolutional Context-aware Transformer Network for Non-intrusive Speech Quality Assessment
Bose Corporation(博士公司);Indiana University(印第安纳大学)
语音质量评估已经成为许多语音通信相关应用(如电话和在线会议)的关键组成部分。传统的侵入式语音质量评估需要退化话语的干净参考来提供准确的质量测量。这一要求限制了这些方法在真实场景中的可用性。另一方面,非侵入式主观测量是评估语音质量的“金标准”,因为人类听众可以轻松地从本质上评估任何降级语音的质量。在本文中,我们提出了一种新的端到端的模型结构,称为卷积上下文感知Transformer(CCAT)网络来预测人类评分员的平均意见得分(MOS)。我们在跨越多种语言和失真类型的三个MOS注释数据集上评估了我们的模型,并将结果提交给ConferencingSpeech 2022挑战赛。我们的实验表明,CCAT提供了有前途的MOS预测相比,目前最先进的非侵入性语音评估模型的平均皮尔逊相关系数(PCC)从0.530增加到0.697和平均RMSE从0.768下降到0.570相比,挑战评估测试集的基线模型。
2022-11-04 cs.LG cs.SD eess.AS
Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning
Baidu Research(百度研究院);OpenAI(开放人工智能研究中心);University of California, Berkeley(加州大学伯克利分校)
我们介绍了Deep Voice 3,一个完全卷积的基于注意力的神经文本到语音(TTS)系统。Deep Voice 3在自然度方面与最先进的神经语音合成系统相匹配,同时训练速度快十倍。我们将Deep Voice 3扩展到TTS前所未有的数据集大小,对来自2000多个扬声器的800多个小时的音频进行训练。此外,我们确定了常见的错误模式的注意力为基础的语音合成网络,演示了如何减轻他们,并比较几种不同的波形合成方法。我们还描述了如何在一台GPU服务器上将推理扩展到每天1000万次查询。
2018-02-22 cs.AI cs.CL cs.LG
Estimating Phoneme Class Conditional Probabilities from Raw Speech Signal using Convolutional Neural Networks
Idiap Research Institute(IDIAP研究所)
在混合隐马尔可夫模型/人工神经网络(HMM/ANN)自动语音识别(ASR)系统中,首先基于诸如语音感知或/和语音产生知识的先验知识从语音信号中提取声学特征,然后用ANN对声学特征进行建模,从而估计音素类条件概率。更具体地说,在图像处理和文本处理领域中,已经表明这种分而治之的策略(即,分离特征提取和建模步骤)可能不是必需的。从这些研究的动机,在卷积神经网络(CNN)的框架下,本文研究了一种新的方法,其中输入到人工神经网络的原始语音信号和输出是音素类条件概率估计。在TIMIT音素识别任务中,我们研究了不同的ANN架构,以显示CNN的优势,并将所提出的方法与传统方法进行比较,其中,基于频谱的特征MFCC由多层感知器提取和建模。我们的研究表明,所提出的方法可以产生可比或更好的音素识别性能相比,传统的方法。这表明CNN可以从原始语音信号中自动学习与音素分类相关的特征。
2013-06-12 cs.CL cs.LG cs.NE
Gradient-Adjusted Neuron Activation Profiles for Comprehensive Introspection of Convolutional Speech Recognition Models
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学)
基于深度学习的自动语音识别(ASR)模型非常成功,但很难解释。为了更好地理解人工神经网络(ANN)如何完成它们的任务,已经提出了内省方法。将这样的技术从计算机视觉应用到语音识别并不简单,因为语音数据比图像数据更复杂且更难解释。在这项工作中,我们引入了顺应性调整的神经元激活轮廓(GradNAP)作为解释深度神经网络中的特征和表示的手段。GradNAP是ANN对特定输入组的特征响应,其中包含用于预测的神经元的相关性。我们展示了如何利用GradNAP来深入了解数据如何在ANN中处理。这包括不同的可视化功能和GradNAP聚类的方式,以比较给定网络的任何层中不同输入组的嵌入。我们使用全卷积ASR模型演示了我们提出的技术。
2020-02-19 cs.LG cs.SD eess.AS
Functionality-Oriented Convolutional Filter Pruning
卷积神经网络(CNN)的复杂结构允许出色的性能,但以密集的计算为代价。由于这种结构中不可避免地存在大量冗余,因此已经提出了许多工作来修剪卷积滤波器以降低计算成本。虽然非常有效,但大多数作品仅基于卷积滤波器的定量特征,并且高度忽略了对单个滤波器的特定功能的定性解释。本文从不同的角度对卷积滤波器的功能性和冗余性进行了解释,提出了一种面向功能性的滤波器剪枝方法。通过大量的实验结果,我们证明了卷积滤波器的定性意义,证明了由于重复的滤波器函数导致的显著的神经网络冗余,并分析了在不适当的再训练过程中滤波器功能的缺陷。这种可解释的过滤器剪枝方法不仅提供了出色的计算成本优化比以前的过滤器剪枝方法,但也解释过滤器剪枝过程。
2019-09-12 cs.CV cs.LG stat.ML
Leveraging Symmetrical Convolutional Transformer Networks for Speech to Singing Voice Style Transfer
Indian Institute of Science(印度科学学院);Sony Group Corporation(索尼集团公司)
在本文中,我们提出了一个模型来执行语音风格转移到歌声。与以前的基于信号处理的方法相反,这些方法需要高质量的歌唱模板或音素同步,我们探索了一种数据驱动的方法来解决将自然语音转换为歌唱声音的问题。我们开发了一种新的神经网络架构,称为SymNet,它模拟输入语音与目标旋律的对齐,同时保留扬声器的身份和自然性。所提出的SymNet模型由三种类型的层的对称堆栈组成-卷积层、Transformer层和自我注意层。本文还探讨了新的数据增强和生成损失退火方法,以促进模型训练。实验在NUS和NHSS数据集上进行,这些数据集由语音和歌声的并行数据组成。在这些实验中,我们表明,所提出的SymNet模型提高了客观重建质量显着超过以前公布的方法和基线架构。此外,主观收听测试证实了使用所提出的方法获得的音频的质量得到了改善(在基线系统上平均意见得分测量中绝对改善了0.37)。
2022-08-26 cs.LG cs.SD eess.AS
Voice Filter: Few-shot text-to-speech speaker adaptation using voice conversion as a post-processing module
Alexa AI(亚马逊语音助手人工智能);National Taiwan University (NTU)(台湾大学)
最先进的文本转语音(TTS)系统需要几个小时的记录语音数据来生成高质量的合成语音。当使用减少量的训练数据时,标准TTS模型遭受语音质量和可懂度降级,使得训练低资源TTS系统成为问题。在本文中,我们提出了一种新的极低资源的TTS方法,称为语音过滤器,使用少至一分钟的语音从目标扬声器。它使用语音转换(VC)作为附加到一个预先存在的高质量的TTS系统的后处理模块,标志着在现有的TTS范式的概念转变,框架的Few-Shot TTS问题作为VC任务。此外,我们建议使用一个持续时间可控的TTS系统来创建一个并行的语音语料库,以促进VC任务。结果表明,语音过滤器优于国家的最先进的Few-Shot语音合成技术的客观和主观指标方面的一分钟的语音对一组不同的声音,而竞争对手的TTS模型建立在30倍以上的数据。
2022-02-16 cs.CL cs.LG eess.AS
Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention
PKSHA Technology, Inc.(PKSHA科技公司)
本文描述了一种基于深度卷积神经网络(CNN)的新型文本到语音(TTS)技术,而不使用任何递归单元。近年来,递归神经网络(RNN)已经成为对序列数据建模的标准技术,并且该技术已经被用于一些前沿的神经TTS技术中。然而,训练RNN组件通常需要非常强大的计算机,或者非常长的时间,通常需要几天或几周。另一方面,最近的其他研究表明,由于高度的并行性,基于CNN的序列合成可以比基于RNN的技术快得多。本文的目的是表明,一种替代的神经TTS仅基于CNN减轻这些经济成本的培训。在我们的实验中,使用配备两个GPU的普通游戏PC对所提出的深度卷积TTS进行了充分的过夜(15小时)训练,而合成语音的质量几乎可以接受。
2020-09-30 cs.AI cs.LG cs.SD
Enhancement Of Coded Speech Using a Mask-Based Post-Filter
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);International Audio Laboratories(国际音频实验室);Friedrich-Alexander University (FAU)(弗里德里希-亚历山大大学(FAU))
由于高量化噪声,语音编解码器的质量在低比特率下恶化。后置滤波器通常用于增强编码语音的质量。本文提出了一种基于时频域掩蔽的数据驱动后置滤波器。实现了全连接神经网络(FCNN)、卷积编码器-解码器(CED)网络和长短期记忆(LSTM)网络来估计每个时频点的实值掩码。在自适应多速率宽带编解码器(AMR-WB)的五种最低工作模式(6.65 kbps-15.85 kbps)上对所提出的模型进行了测试。客观和主观的评价证实了增强的编码语音,也显示了基于掩码的神经网络系统的优越性超过传统的启发式后过滤器中使用的标准,如ITU-T G.718。
2020-10-12 cs.LG eess.AS eess.SP
Multi-Frame Cross-Entropy Training for Convolutional Neural Networks in Speech Recognition
IBM Research AI, IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心IBM研究人工智能部门);IBM Watson(IBM沃森)
我们为卷积神经网络声学模型引入了多帧交叉熵训练(MFCE)。认识到与RNN类似,CNN本质上是采用可变长度输入的序列模型,我们建议将足够长的话语的一部分作为CNN的输入,以便同时预测多个标签,因此从多个相邻帧中获得交叉熵损失信号。这大大增加了标签信息的数量,而边际计算成本却很小。在2000小时的Switchboard基准上进行培训后,我们在hub5和rt02上显示出较大的WER改进。
2019-07-29 cs.CL cs.LG cs.SD
FastPitchFormant: Source-filter based Decomposed Modeling for Speech Synthesis
Speech AI Lab, NCSOFT(NCSOFT语音AI实验室)
已经提出了用于对具有声学特征的韵律进行建模和控制的方法用于神经文本到语音(TTS)模型。韵律语音可以通过调节声学特征来生成。然而,合成语音与大的音高移位规模遭受音频质量下降,和扬声器特性变形。为了解决这个问题,我们提出了一个基于前馈Transformer的TTS模型,该模型基于源滤波器理论设计。这个模型称为FastPitchForcenter,它有一个独特的结构,可以并行处理文本和声学特征。通过分别对每个特征建模,可以减轻模型学习两个特征之间的关系的趋势。
2021-06-29 cs.LG cs.SD eess.AS
A Convolutional Neural Network model based on Neutrosophy for Noisy Speech Recognition
Iran University of Science and Technology(伊朗科技大学);K.N.Toosi University of Technology(霍加·纳西尔丁·图西尼扎米大学)
卷积神经网络在测试阶段对未知的噪声条件敏感,因此对于包括噪声语音识别在内的噪声数据分类任务,其性能会下降。在这项研究中,一个新的卷积神经网络(CNN)模型与数据的不确定性处理,称为NCNN(中性卷积神经网络),提出了分类任务。这里,语音信号被用作输入数据,并且它们的噪声被建模为不确定性。在本课题中,利用语音频谱图,提出了一种基于语音域的不确定性定义。将语音谱图中的每个时频点看作一个像素来计算不确定度。因此,在NS域中创建与谱图大小相同的不确定度矩阵。在接下来的步骤中,提出了两条并行路径的CNN分类模型。第一路以语音谱图为输入,第二路以不确定性矩阵为输入,两路的输出合并计算分类器的最终输出。为了验证该方法的有效性,在Aurora2数据集的孤立词上与传统的CNN进行了比较。在有噪声的训练数据中,该方法的平均识别精度达到85.96。它对汽车、机场和地铁噪声的鲁棒性更强,在测试集A、B和C中的精度分别为90、88和81。实验结果表明,该方法在测试集A、B和C上分别比传统的CNN提高了6、5和2个百分点。这意味着所提出的方法对噪声数据具有更强的鲁棒性,并有效地处理这些数据。
2019-02-28 cs.LG cs.SD eess.AS
A Convolutional Neural Network Based Approach to Recognize Bangla Spoken Digits from Speech Signal
Khulna University of Engineering & Technology(库尔纳工程技术大学)
语音识别是一种将人类的语音信号转换成文本或单词或任何形式的计算机或其他机器可以容易地理解的技术。有一些关于孟加拉数字识别系统的研究,其中大多数使用的是小数据集,性别,年龄,方言和其他变量的变化很少。在这项研究中,不同性别、年龄和方言的孟加拉人的录音被用来创建一个大型的孟加拉语数字语音数据集。在这里,每个数字记录了400个有噪声和无噪声的样本,用于创建数据集。梅尔频率倒谱系数(MFCC)已被用于从原始语音数据中提取有意义的特征。然后,利用卷积神经网络(CNN)检测孟加拉数字。所建议的技术在整个数据集中以97.1%的准确率识别“0-9”孟加拉语口语数字。还使用10倍交叉验证评估了模型的效率,其准确度为96.7%。
2021-11-12 cs.AI cs.CL cs.LG
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union(库珀联盟学院)
本文将描述一种新的方法,鸡尾酒会的问题,依赖于一个完全卷积神经网络(FCN)架构。FCN将噪声音频数据作为输入,并执行非线性滤波操作,以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型,然后能够从串音背景噪声中提取扬声器的声音。实验结果表明,该方法具有推广到新的说话人的能力,并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调,并部署到助听器上,以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
Convolutional Neural Network-based Speech Enhancement for Cochlear Implant Recipients
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
为人工耳蜗(CI)用户开发具有改进的语音可懂度的语音增强算法的尝试已经取得了有限的成功。为了改善语音增强方法CI用户,我们建议进行语音增强耳蜗滤波器银行的特征空间,一个功能集专门为CI用户设计的基础上CI听觉刺激。我们利用卷积神经网络(CNN)来提取环境声学和语音的平稳和非平稳分量。我们提出了三种CNN架构:(1)直接生成增强信号的香草型CNN;(2)首先预测噪声,然后通过从噪声信号中减去噪声来生成增强信号的谱减法型CNN(SS-CNN);(3)生成用于抑制噪声的最佳掩码的维纳型CNN(Wiener-CNN)。所提出的网络的一个重要问题是,它们引入了相当大的延迟,这限制了CI用户的实时应用。为了解决这个问题,本研究还考虑了这些网络的因果变化。我们的实验表明,所提出的网络(因果和非因果形式)实现了显着改善现有的基线系统。我们还发现,因果Wiener-CNN优于其他网络,并导致最佳的整体包络系数测量(ECM)。所提出的算法代表了一个可行的选择CCi-MOBILE的研究平台上实现的CI用户在自然环境中作为一个预处理器。
2019-07-03 cs.LG cs.SD eess.AS
Neural Network-augmented Kalman Filtering for Robust Online Speech Dereverberation in Noisy Reverberant Environments
Advanced Bionics(先进仿生公司)
本文提出了一种基于加权预测误差(WPE)的卡尔曼滤波算法的神经网络增强抗噪在线去混响算法。滤波器随机变化由深度神经网络(DNN)使用滤波器残差和信号特征进行端到端训练来预测。所提出的框架允许在类似于WHAMR!的单通道噪声混响数据集上进行鲁棒的去混响。如果目标语音功率谱密度不是完全已知的并且观测是有噪声的,则卡尔曼滤波WPE在仅从残余误差预测滤波器变化时在增强信号中引入失真。所提出的方法通过以数据驱动的方式校正滤波器变化估计来避免这些失真,从而增加该方法对噪声场景的鲁棒性。此外,与WPE的DNN支持的递归最小二乘变体相比,它产生了强大的去混响和去噪性能,特别是对于高噪声输入。
2022-06-23 cs.LG cs.SD eess.AS
Multichannel Speech Enhancement by Raw Waveform-mapping using Fully Convolutional Networks
National Taiwan University(台湾大学);Academia Sinica(台湾中央研究院);National Cheng-Kung University(台湾成功大学)
近年来,基于波形映射的语音增强(SE)方法引起了人们的广泛关注。这些方法通常使用深度学习模型来直接处理和重构语音波形。由于输入和输出都是波形形式的,基于波形映射的SE方法可以克服基于频谱映射的SE系统中可能遇到的不完美相位估计所引起的失真。到目前为止,大多数基于波形映射的SE方法都集中在单通道任务上。在本文中,我们提出了一种新的全卷积网络(FCN)与Sinc和膨胀的卷积层(称为SDFCN)的多通道SE,在时域中操作。我们还提出了一个扩展版本的SDFCN,称为残余SDFCN(称为rSDFCN)。所提出的方法进行评估,两个多通道SE任务,即双通道内耳麦克风SE任务和分布式麦克风SE任务。实验结果证实了所提出的SE系统在这两项任务上的出色去噪能力,以及使用残差架构对整体SE性能的好处。
2020-02-24 cs.LG cs.SD eess.AS
End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
语音增强模型用于将含噪语音映射为干净语音。在训练阶段,通常采用目标函数来优化模型参数。然而,在大多数研究中,模型优化标准和增强语音的评价标准之间存在不一致。例如,在测量语音可懂度时,大多数评估度量是基于短时客观可懂度(STOI)测量,而在优化模型时广泛使用估计语音和干净语音之间的基于帧的最小均方误差(MMSE)。由于不一致性,无法保证训练的模型可以在应用程序中提供最佳性能。在这项研究中,我们提出了一个端到端的基于话语的语音增强框架,使用全卷积神经网络(FCN),以减少模型优化和评估标准之间的差距。由于基于话语的优化,当基于感知的目标函数用于直接优化时,可以考虑长语音段的时间相关信息,或者甚至在整个话语级。作为一个例子,我们实现了建议的FCN增强框架,以优化的STOI措施。实验结果表明,由于训练目标与评价目标的一致性,测试语音的STOI优于传统MMSE优化语音。此外,通过将STOI集成在模型优化中,与MMSE准则生成的语音相比,人类主体和自动语音识别(ASR)系统对增强语音的可懂度也得到了显著改善。
2018-03-15 cs.LG cs.SD stat.ML
Learning and controlling the source-filter representation of speech with a variational autoencoder
CentraleSupélec(巴黎中央理工-高等电力学院);IETR UMR CNRS 6164(法国国家科学研究中心电子与电信研究所(UMR 6164));Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像、语音、信号与自动化实验室);Inria(法国国家信息与自动化研究所);LJK(让·昆塞曼实验室)
理解和控制深度生成模型中的潜在表示对于分析、转换和生成各种类型的数据来说是一个具有挑战性且重要的问题。在语音处理中,源滤波器模型从发声的解剖机制出发,认为语音信号是由几个独立的、有物理意义的连续潜在因素产生的,其中基频$f_0$和共振峰是最重要的。在这项工作中,我们从一个变分自编码器(VAE)在一个大的数据集上的未标记的自然语音信号的无监督的方式训练,我们表明,语音生产的源过滤器模型自然产生的VAE潜在空间的正交子空间。利用人工语音合成器产生的标记语音信号,我们提出了一种方法来识别编码$f_0$和前三个共振峰频率的潜在子空间,我们证明了这些子空间是正交的,并基于这种正交性,我们开发了一种方法来精确和独立地控制潜在子空间内的源滤波器语音因子。在不需要诸如文本或人类标记的数据之类的附加信息的情况下,这导致以$f_0$和共振峰频率为条件的语音频谱图的深度生成模型,并且该深度生成模型被应用于变换语音信号。最后,我们还提出了一个强大的$f_0$估计方法,利用投影的语音信号到学习的潜在子空间与$f_0$。
2023-03-21 cs.LG cs.SD eess.AS
Fast DCTTS: Efficient Deep Convolutional Text-to-Speech
KAIST(韩国科学技术院)
我们提出了一个端到端的语音合成器,快速DCTTS,在一个单一的CPU线程上实时合成语音。该模型由一个精心调整的轻量级网络组成,该网络通过应用多个网络简化和保真度改进技术而设计。此外,我们提出了一种新的组高速公路激活,可以在计算效率和门控机制的正则化效果之间进行折衷。此外,我们引入了一个新的度量称为弹性梅尔倒频谱失真(EMCD)来衡量输出梅尔频谱图的保真度。在实验中,我们分析了加速技术对速度和语音质量的影响。与基线模型相比,该模型的MOS值从2.62提高到2.74,计算量仅为1.76%,参数仅为2.75%。单CPU线程运行速度提高了7.45倍,足以在不使用GPU的情况下实时生成梅尔频谱图。
2021-04-01 cs.AI cs.LG eess.AS
SwishNet: A Fast Convolutional Neural Network for Speech, Music and Noise Classification and Segmentation
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
语音、音乐和噪声分类/分割是音频处理/索引的重要预处理步骤。为此,我们提出了一种新的一维卷积神经网络(CNN)- SwishNet。它是一种基于MFCC功能的快速轻量级架构,适合添加到音频处理管道的前端。我们表明,通过从ImageNet上预训练的2D CNN中提取知识,可以提高网络的性能。我们研究了我们的网络在MUSAN语料库上的性能-MUSAN语料库是一个开放的噪声,音乐和语音样本的综合集合,适用于深度学习。所提出的网络在片段(长度为0.5-2s)分类(>97%准确率)和逐帧分割(>93%准确率)任务中实现了高的整体准确率,在语音/非语音区分任务中具有更高的准确率(>99%)。为了验证我们模型的鲁棒性,我们在MUSAN上进行了训练,并在不同的语料库GTZAN上进行了评估,发现精确度很高,微调很少。我们还证明了我们的模型在CPU和GPU上都是快速的,消耗少量的内存,适合在嵌入式系统中实现。
2018-12-01 cs.LG cs.SD eess.AS
WaveCRN: An Efficient Convolutional Recurrent Neural Network for End-to-end Speech Enhancement
由于端到端(E2E)神经网络模型具有简单的设计流程,因此用于语音增强(SE)的E2E神经网络模型引起了人们极大的兴趣。为了提高E2E模型的性能,在建模时应有效地考虑语音的局部性和时序性。然而,在大多数当前的E2E模型中,这些属性要么没有被充分考虑,要么太复杂而无法实现。在本文中,我们提出了一个有效的E2E SE模型,称为WaveCRN。在WaveCRN中,语音局部性特征由卷积神经网络(CNN)捕获,而局部性特征的时间序列属性由堆叠的简单递归单元(SRU)建模。与使用难以并行化的长短期记忆(LSTM)网络的传统时间序列模型不同,SRU可以在计算中高效并行化,模型参数甚至更少。此外,为了更有效地抑制噪声成分的输入嘈杂的语音,我们推导出一种新的限制性特征掩蔽(RFM)的方法,在隐藏层的特征图上进行增强,这是不同的方法,适用于估计的比率掩模的嘈杂的频谱特征,这是常用的语音分离方法。语音去噪和压缩语音恢复任务的实验结果证实,与SRU的轻量级架构和基于特征映射的RFM,WaveCRN执行与其他国家的最先进的方法,显着降低模型复杂度和推理时间的并行计算。
2020-11-26 cs.LG cs.SD eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks
Harvey Mudd College(哈维穆德学院);University of Southern California(南加州大学);Institute for Creative Technologies(创意技术研究所)
对于机器学习算法来说,自动评估人类语音中的情感效价历来是一项艰巨的任务。说话者的声音中指示积极或消极情绪状态的微妙变化通常被与情绪强度或情绪激活有关的声音特征“掩盖”。在这项工作中,我们探索了一个表示学习的方法,自动推导出的情感语音的歧视性表示。特别是,我们研究了两种机器学习策略来提高分类器性能:(1)使用深度卷积生成对抗网络(DCGAN)利用未标记数据,以及(2)多任务学习。在我们广泛的实验中,我们利用多任务注释的情感语料库以及大型未标记的会议语料库(约100小时)。我们的独立于说话人的分类实验表明,特别是在我们的调查中使用未标记的数据提高了分类器的性能,两种完全监督的基线方法都大大优于。我们改进了情绪效价的分类,在离散的5点量表上为43.88%,在3点量表上为49.80%,这与最先进的表现具有竞争力。
2017-04-22 cs.CL cs.LG stat.ML
A Convolutional Deep Markov Model for Unsupervised Speech Representation Learning
MIT(麻省理工学院);Le Mans University(勒芒大学);University of Wrocław(弗罗茨瓦夫大学);NVIDIA Corporation(英伟达公司);University of Toulon(土伦大学)
概率潜变量模型(LVMs)为从语音中学习语言表示提供了一种自监督学习方法的替代方案。LVMs允许直观的概率解释,其中潜在结构塑造从信号中提取的信息。尽管由于引入了变分自编码器(VAE),LVMs最近重新引起了人们的兴趣,但它们在语音表示学习中的应用在很大程度上仍未得到探索。在这项工作中,我们提出了卷积深度马尔可夫模型(ConvDMM),这是一种由深度神经网络建模的具有非线性发射和转移函数的高斯状态空间模型。这个无监督模型使用黑盒变分推理进行训练。深度卷积神经网络被用作结构化变分逼近的推理网络。当在大规模语音数据集(LibriSpeech)上训练时,ConvDMM产生的特征在华尔街日报数据集上的线性电话分类和识别上显着优于多个自监督特征提取方法。此外,我们发现ConvDMM补充了Wav2Vec和PASE等自监督方法,改善了单独使用任何方法所获得的结果。最后,我们发现ConvDMM功能可以在资源极其匮乏且标记训练示例很少的情况下比任何其他功能更好地学习手机识别器。
2020-09-08 cs.CL cs.LG cs.SD
Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps
University of Potsdam(波茨坦大学);Research Focus Cognitive Science(认知科学研究中心);Otto von Guericke University Magdeburg(奥托·冯·格里克马格德堡大学);Artificial Intelligence Lab(人工智能实验室)
深度神经网络中人工神经元的无信息排序使更深层的可视化激活变得复杂。这就是为什么这些模型的内部结构非常不直观的原因之一。在神经科学中,真实大脑的活动可以通过突出活动区域来可视化。受这些技术的启发,我们训练了一个卷积语音识别模型,其中滤波器排列在2D网格中,相邻的滤波器彼此相似。我们展示了这些地形滤波图如何更直观地显示人工神经元激活。此外,我们调查,这是否会导致音素反应神经元被分组在某些地区的地形图。
2019-12-06 cs.LG cs.SD eess.AS
DAL: Feature Learning from Overt Speech to Decode Imagined Speech-based EEG Signals with Convolutional Autoencoder
Korea University(高丽大学)
脑-机接口(BCI)是通过反映人的意图和状态来实现人与设备之间通信的工具之一。随着人工智能的发展,人们对使用脑电图(EEG)在人类和无人机之间进行通信的兴趣增加。特别是,在控制无人机群的情况下,例如方向或编队,与控制无人机单元相比,有许多优点。想象言语是一种内源性的脑机接口范式,它可以识别用户的意图。当进行想象语音时,用户想象发音就像实际说话一样。相比之下,显性语音是用户直接发音的任务。当使用想象的语音控制无人机群时,可以更直观地传递复杂的命令,但解码性能低于其他内源性BCI范例。提出了深度自学习算法(DAL)来学习明显语音的脑电信号特征,用于基于想象语音的脑电信号分类。据我们所知,这项研究是第一次尝试使用脑电特征的公开语音解码想象的语音为基础的脑电信号与自动编码器。共有8名受试者参加了实验。当对四个词进行分类时,DAL的平均正确率为48.41%。此外,当比较明显语音的w/o和w/ EEG特征之间的性能时,当包括明显语音的EEG特征时,性能提高了7.42%。因此,我们证明了公开语音的EEG特征可以提高想象语音的解码性能。
2021-07-15 cs.HC cs.LG cs.SD
WaveCycleGAN2: Time-domain Neural Post-filter for Speech Waveform Generation
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室)
WaveCycleGAN最近被提出来弥合统计参数语音合成中的自然语音波形和合成语音波形之间的差距,并提供使用移动平均模型而不是自回归模型的快速推理和使用对抗训练的高质量语音合成。然而,人耳仍然可以将处理后的语音波形与自然语音波形区分开。这种可重复性的一个可能原因是经由下/上采样模块在经处理的语音波形中观察到的混叠。为了解决混叠问题并提供更高质量的语音合成,我们提出了WaveCycleGAN 2,它1)使用没有下/上采样模块的发生器,2)结合了波形域和声学参数域的鉴别器。实验结果表明,该方法能很好地消除混叠现象,对分析合成和统计参数语音合成都有较好的效果,以及3)在NVIDIA Tesla P100上以超过150 kHz的速率处理语音样本时,获得了与自然语音以及由WaveNet(开放式WaveNet)和WaveGlow合成的语音相当的平均意见得分。
2019-04-09 cs.LG cs.SD eess.AS
Temporal Feedback Convolutional Recurrent Neural Networks for Speech Command Recognition
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
使用原始波形作为输入的端到端学习模型在许多音频识别任务中表现出优异的性能。然而,大多数模型架构都是基于卷积神经网络(CNN),主要是为视觉识别任务而开发的。在本文中,我们提出了一个扩展的挤压和激励网络(SENets),增加了时间反馈控制从顶层功能通道的功能激活在较低层使用一个经常性的模块。这类似于人类听觉系统中的外毛细胞的自适应增益控制机制。我们将所提出的模型应用于语音命令识别,并表明它的性能略优于SENets和其他基于CNN的模型。我们还调查了性能改善的细节进行故障分析和可视化的通道的功能缩放引起的时间反馈。
2022-09-18 cs.CL cs.LG cs.SD
A Multi-Phase Gammatone Filterbank for Speech Separation via TasNet
在这项工作中,我们调查了端到端卷积时域音频分离网络(Conv-TasNet)的学习编码器是否是其最近成功的关键,或者编码器是否可以被确定性手工制作的滤波器组所取代。受Conv-TasNet的训练编码器与听觉滤波器组的相似性的启发,我们建议采用确定性伽马通滤波器组。与常见的伽玛通滤波器组相比,我们的滤波器被限制在2 ms的长度,以允许低延迟处理。受Conv-TasNet学习的编码器的启发,除了按时间间隔排列的滤波器外,所提出的滤波器组还在相同的中心频率处保持多个具有不同相移的伽马通滤波器。我们表明,用我们提出的多相伽玛滤波器组(MP-GTF)替换学习的编码器甚至会导致0.7 dB的尺度不变信噪比(SI-SNR)改善。此外,与使用学习的编码器相比,我们表明,滤波器的数量可以从512减少到128,而不会损失性能。
2020-03-10 cs.LG cs.SD eess.AS
On the Role of Spatial, Spectral, and Temporal Processing for DNN-based Non-linear Multi-channel Speech Enhancement
与将线性空间滤波器与独立的时间谱后滤波器相结合的传统方法相比,使用深度神经网络(DNN)直接学习滤波器以进行多通道语音增强可能具有两个关键优势:1)非线性空间滤波允许克服源自线性处理模型的潜在限制,以及2)空间和节奏的联合处理。光谱信息允许利用不同信息源之间的相互依赖性。最近已经提出了各种基于DNN的非线性滤波器,据报道,这些滤波器具有良好的增强性能。然而,很少有人知道的内部机制,把网络架构设计成一个游戏的机会。因此,在本文中,我们进行了实验,以更好地理解基于DNN的非线性滤波器对空间、光谱和时间信息的内部处理。一方面,我们在困难的语音提取场景中的实验证实了非线性空间滤波的重要性,其性能优于Oracle线性空间滤波器0.24 POLQA得分。另一方面,我们证明了联合处理的结果在一个大的性能差距0.4 POLQA得分网络架构之间利用光谱与时间信息,除了空间信息。
2022-06-22 cs.LG cs.SD eess.AS
Convolutional Neural Networks for Speech Controlled Prosthetic Hands
语音识别是人工智能的关键主题之一,因为它是人类最常见的交流形式之一。在过去的几十年里,研究人员已经开发了许多语音控制假手,利用传统的语音识别系统,使用神经网络和隐马尔可夫模型的组合。通用图形处理单元(GPGPU)的最新进展使智能设备能够实时运行深度神经网络。因此,现有技术的语音识别系统已经从复合子系统优化的范例迅速转变为端到端优化的范例。然而,低功耗的嵌入式GPGPU不能实时运行这些语音识别系统。在本文中,我们展示了深度卷积神经网络(CNN)的开发,用于在NVIDIA Jetson TX2开发工具包上实时运行的假手语音控制。首先,该设备捕获语音并将其转换为2D特征(如频谱图)。CNN接收2D特征并对手势进行分类。最后,将手势类发送到假手运动控制系统。整个系统是用Python和Keras编写的,Keras是一个深度学习库,有一个TensorFlow后端。我们在CNN上的实验表明,从语音命令中输出手势(文本输出)的准确率为91%,运行时间为2ms,可用于实时控制假手。
2019-10-03 cs.HC cs.LG cs.RO
A neural network based post-filter for speech-driven head motion synthesis
University of Edinburgh(爱丁堡大学)
尽管神经网络被广泛用于语音驱动的头部运动合成,但众所周知,由于深度神经网络在预测人体运动方面的能力有限,神经网络的输出是有噪声的或不连续的。因此,需要后处理来获得用于动画的平滑头部运动轨迹。通常应用线性滤波器或将关键帧视为后处理。然而,这两种方法都不是最佳的,因为在平滑度和准确度之间总是存在权衡。我们建议采用一种能够重建头部运动的神经网络来克服这一限制。在客观评价中,该滤波器被证明是良好的去噪数据涉及的噪声类型(辍学或高斯噪声)。客观指标也证明了我们提出的滤波器处理后,加入头部运动的平滑度的改善。详细的分析表明,我们提出的过滤器学习的头部运动的特点。主观评价表明,参与者无法区分合成的头部运动与我们提出的过滤器从地面真相,这是优于高斯滤波器和移动平均。
2019-07-25 cs.LG eess.AS eess.SP
Convolutional Speech Recognition with Pitch and Voice Quality Features
Universitat Pompeu Fabra(庞培法布拉大学);Universitat de Barcelona(巴塞罗那大学)
在这项工作中,添加音高和语音质量特征,如抖动和闪烁的最先进的CNN模型的自动语音识别的影响进行了研究。音高特征以前曾被用于改进传统的HMM和DNN基线,而抖动和闪烁参数已被证明对说话人或情感识别等任务有用。据我们所知,这是第一个将这种音高和语音质量特征与现代卷积架构相结合的工作,对于公开的西班牙语普通语音和LibriSpeech 100h数据集,相对WER点分别提高了7%和3%。特别地,我们的工作将这些特征与梅尔频谱系数(MFSC)相结合,以训练具有门控线性单元(Conv GLU)的卷积架构。这种模型已经显示出产生小的单词错误率,同时非常适合在线流识别用例的并行处理。我们已经在Facebook的wav2letter语音识别框架中添加了音高和语音质量功能,我们向社区提供了这样的代码和配方,以进行进一步的实验。此外,据我们所知,我们的西班牙语通用语音食谱是wav2letter的第一个公共西班牙语食谱。
2020-11-10 cs.AI cs.LG cs.SD
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用研究所)
基于变分自编码器(VAE)的深层潜变量生成模型在视听语音增强(AVSE)中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据,然后将其与统计噪声模型,以恢复一个语音信号从嘈杂的音频记录和视频(嘴唇图像)的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质,这阻止了它们完全结合视觉数据的力量。在本文中,我们提出了一个视听深度卡尔曼滤波器(AV-DKF)生成模型,假设一阶马尔可夫链模型的潜在变量,并有效地融合视听数据。此外,我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验,比较不同的语音增强生成模型的变体。结果表明,AV-DKF模型的优越性相比,它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
Convolutional Neural Networks and a Transfer Learning Strategy to Classify Parkinson's Disease from Speech in Three Different Languages
Universidad de Antioquia UdeA(安蒂奥基亚大学);Czech Technical University in Prague(布拉格捷克技术大学)
帕金森病患者会出现不同的语言障碍,影响他们的沟通能力。患者语音的自动评估允许计算机辅助工具的开发,以支持疾病严重程度的诊断和评估。本文介绍了一种方法来分类帕金森病的语音在三种不同的语言:西班牙语,德语和捷克语。所提出的方法考虑了用时频表示训练的卷积神经网络和三种语言之间的迁移学习策略。迁移学习方案旨在当神经网络的权重用来自与用于测试集的语言不同的语言的话语初始化时提高模型的准确性。结果表明,当用于初始化分类器权值的基本模型足够鲁棒时,该策略可将模型的准确率提高8%.此外,在迁移学习之后获得的结果在大多数情况下在特异性-灵敏度方面比在没有迁移学习策略的情况下训练的结果更平衡。
2020-02-11 cs.CL cs.LG eess.AS