Multi-task Recurrent Model for Speech and Speaker Recognition
Center for Speech and Language Technologies, Research Institute of Information Technology, Tsinghua University(清华大学信息技术研究院语音与语言技术中心);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
虽然语音和说话人识别高度相关,但它们一直被视为两个独立的任务,并由两个社区进行研究。这当然不是人们的行为方式:我们同时解读语音内容和说话者的特征。本文提出了一个统一的模型,同时进行语音和说话人识别。该模型基于一个统一的神经网络,其中一个任务的输出被馈送到另一个任务的输入,从而导致多任务递归网络。实验表明,联合模型在两个任务上都优于特定任务模型。
2016-09-27 cs.CL cs.LG cs.NE
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google(谷歌)
我们最近已经证明,作为语音识别的声学模型,深度长短期记忆(LSTM)递归神经网络(RNN)的性能优于前馈深度神经网络(DNN)。最近,我们已经证明,使用这种LSTM RNN的序列训练上下文相关(CD)隐马尔可夫模型(HMM)声学模型的性能可以与使用连接主义时间分类(CTC)初始化的序列训练电话模型相等。在本文中,我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明,帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.(谷歌公司)
我们研究压缩循环神经网络(RNN)的问题。特别是,我们专注于RNN声学模型的压缩,这是出于建立紧凑和准确的语音识别系统,可以有效地运行在移动设备上的目标。在这项工作中,我们提出了一种技术,一般经常性的模型压缩,共同压缩经常性和非经常性层间权重矩阵。我们发现,所提出的技术允许我们将长短期记忆(LSTM)声学模型的大小减少到其原始大小的三分之一,而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
A Recurrent Variational Autoencoder for Speech Enhancement
CentraleSupélec(中央理工-高等电力学院);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
提出了一种基于递归变分自编码器(RVAE)的生成式语音增强方法。深度生成语音模型仅使用干净的语音信号来训练,并且其与非负矩阵分解噪声模型组合用于语音增强。我们提出了一种变分期望最大化算法,其中RVAE的编码器在测试时进行微调,以近似于噪声语音观测的潜变量的分布。与以前的基于前馈全连接架构的方法相比,所提出的递归深度生成语音模型在潜变量上引入了后验时间动态,这被证明可以改善语音增强结果。
2020-02-10 cs.AI cs.LG cs.NE
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University(清华大学);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
循环神经网络(RNN)在序列建模方面表现出明显的优势,特别是具有门控单元的网络,如长短期记忆(LSTM)和门控循环单元(GRU)。然而,在许多应用中,卓越性能背后的动态特性仍然不清楚,例如,自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式,其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改:(1)LSTM中的懒惰单元更新,以及(2)残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Text-To-Speech Conversion with Neural Networks: A Recurrent TDNN Approach
本文描述了一个神经网络的设计,执行语音到声学映射的语音合成系统。时域神经网络架构的使用限制了在电话边界处发生的不连续性。循环数据输入还有助于平滑输出参数轨迹。独立测试表明,该系统产生的语音质量与现有商业文本到语音系统的语音相比毫不逊色。
1998-11-24 cs.HC cs.NE
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research(微软研究院)
在本文中,我们研究了使用预测-自适应-校正循环神经网络(PAC-RNN)的低资源语音识别。PAC-RNN由一对神经网络组成,其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络(DNN,LSTM)。此外,从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Character-Level Incremental Speech Recognition with Recurrent Neural Networks
Seoul National University(首尔国立大学)
在实时语音识别应用中,延迟是一个重要的问题。我们已经开发了一个字符级的增量语音识别(ISR)系统,即使在语音,其中的假设是逐步改善,而说话的过程中迅速作出反应。该算法采用了一个语音到字符的单向递归神经网络(RNN),这是端到端的连接主义时间分类(CTC)训练,和基于RNN的字符级语言模型(LM)。CTC训练的RNN的输出值是字符级概率,其由束搜索解码处理。RNN LM通过提供长期依赖性信息来增强解码。我们提出了基于树的在线束搜索与额外的深度修剪,这使得系统能够处理无限长的输入语音与低延迟。该系统不仅对语音响应迅速,而且可以根据发音听写词汇表外(OOV)单词。该模型在WSJ SI-284训练集上训练时,在华尔街日报(WSJ)11月'92 20 K评估集上实现了8.90%的单词出错率(WER)。
2016-01-28 cs.CL cs.LG cs.NE
First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs
Stanford University(斯坦福大学)
提出了一种仅用神经网络和语言模型进行首遍大词汇量连续语音识别的方法。深度神经网络声学模型现在在基于HMM的语音识别系统中很常见,但构建这样的系统是一项复杂的特定于领域的任务。最近的工作证明了通过直接从音频预测转录文本来丢弃HMM序列建模框架的可行性。本文从两个方面扩展了这种方法。首先,我们证明了一个简单的递归神经网络架构可以达到很高的精度。其次,我们提出并评估了一种改进的前缀搜索解码算法。这种解码方法能够利用语言模型进行第一遍语音识别,完全不受基于HMM的系统的繁琐基础设施的帮助。在华尔街日报语料库上的实验证明了相当有竞争力的单词出错率,以及双向网络重现的重要性。
2014-12-08 cs.CL cs.LG cs.NE
Multi-task Recurrent Model for True Multilingual Speech Recognition
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
多语种语音识别的研究仍然是一个具有吸引力和挑战性的课题。最近的研究集中在多任务范式下的共享结构,特别是特征共享结构的学习。这种方法被发现有效地提高了每种语言的性能。但是,这种方法仅在部署的系统仅支持一种语言时才有用。在允许多种语言的真正多语言场景中,由于解码空间中语言之间的竞争,性能将显著降低。本文提出了一种多任务递归模型,该模型包括一个多语言语音识别(ASR)组件和一个语言识别(LR)组件,ASR组件通过LR组件获得语言信息,从而实现语言感知的识别。我们测试了一个英汉双语识别任务的方法。实验结果表明,所提出的多任务递归模型可以提高多语种识别系统的性能。
2016-09-27 cs.CL cs.LG cs.NE
Segmental Recurrent Neural Networks for End-to-end Speech Recognition
Centre for Speech Technology Research, The University of Edinburgh(爱丁堡大学语音技术研究中心);School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Computer Science & Engineering, The University of Washington(华盛顿大学计算机科学与工程系)
我们研究了用于端到端声学建模的分段递归神经网络。该模型将分段条件随机场(CRF)与用于特征提取的递归神经网络(RNN)连接起来。与大多数以前的基于CRF的声学模型相比,它不依赖于外部系统来提供特征或分割边界。相反,该模型将所有可能的分割边缘化,并从与分段CRF一起训练的RNN中提取特征。本质上,这个模型是独立的,可以端到端训练。在本文中,我们讨论了实际的训练和解码问题,以及在语音识别的背景下加快训练的方法。我们在TIMIT数据集上进行了实验。我们实现了17.3电话出错率(PER)从第一次通过解码-最好的报告结果使用CRF,尽管事实上,我们只使用零阶CRF,没有使用任何语言模型。
2016-06-20 cs.CL cs.LG cs.NE
Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
基于长短期记忆(LSTM)的声学建模方法最近已被证明在某些语音识别任务上具有最先进的性能。为了进一步提高性能,在这项研究中,考虑到深层层次模型比浅层模型更有效,研究了LSTM的深层扩展。受先前关于构建深度循环神经网络(RNN)的研究的启发,提出了替代的深度LSTM架构,并在大词汇量会话电话语音识别任务上进行了经验评估。同时,对于多GPU设备,介绍并讨论了LSTM网络的训练过程。实验结果表明,深度LSTM网络受益于深度,并在此任务上产生最先进的性能。
2015-05-11 cs.CL cs.NE
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University(北京大学)
长短期记忆(LSTM)循环神经网络(RNN)已被证明在许多语音识别任务上具有最先进的性能,因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面,卷积神经网络(CNN)为深度前馈神经网络(FFNN)带来了显著的改进,因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络(CRNN)的网络结构。在提出的CRNN中,没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块,然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN,LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明,LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
Dropout improves Recurrent Neural Networks for Handwriting Recognition
A2iA;SUTD(新加坡科技设计大学);LIMSI CNRS(法国国家科学研究中心机械与工程计算机科学实验室)
具有长短期记忆细胞的循环神经网络(RNN)目前在无约束手写识别中具有最好的结果。我们表明,使用dropout -最近提出的深度架构正则化方法,可以大大提高它们的性能。虽然以前的工作表明,dropout在卷积网络的背景下具有更好的性能,但它从未应用于RNN。在我们的方法中,在网络中仔细使用dropout,以便它不会影响循环连接,因此保留了RNN在建模序列中的能力。在广泛的手写数据库上进行的大量实验证实了dropout在深度架构上的有效性,即使网络主要由循环和共享连接组成。
2014-03-10 cs.CV cs.LG cs.NE
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
语音识别在很大程度上利用了深度学习,这表明现代递归神经网络(RNN)可以获得巨大的好处。最受欢迎的RNN是长短期记忆(LSTM),由于它们能够学习长期依赖性和对消失梯度的鲁棒性,它们通常在许多任务中达到最先进的性能。然而,LSTM有一个相当复杂的设计,有三个乘法门,这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元(GRU),它只基于两个乘法门。本文建立在这些努力的基础上,进一步修订GRU,并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先,我们建议在GRU设计中去除复位门,从而实现更高效的单门架构。其次,我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明,在我们的实现中,与标准GRU相比,修改后的架构将每历元训练时间减少了30%以上,并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Speech Recognition with Deep Recurrent Neural Networks
University of Toronto(多伦多大学)
循环神经网络(RNN)是一种强大的序列数据模型。端到端的训练方法,如连接时间分类,使得训练RNN用于序列标记问题成为可能,其中输入输出对齐是未知的。这些方法与长短期记忆RNN架构的结合已经证明是特别富有成效的,在草书手写识别中提供了最先进的结果。然而,到目前为止,RNN在语音识别中的性能令人失望,深度前馈网络返回的结果更好。本文研究了\emph{deep recurrent neural networks},它结合了在深度网络中已被证明非常有效的多层表示与灵活使用远程上下文来增强RNN。当使用适当的正则化进行端到端训练时,我们发现深度长短期记忆RNN在TIMIT音素识别基准测试中的测试集错误率为17.7%,据我们所知,这是最好的记录分数。
2013-03-22 cs.CL cs.NE
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google(谷歌公司)
提出分层循环适配器(HRA),通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销,并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG
Investigating gated recurrent neural networks for speech synthesis
The Centre for Speech Technology Research, University of Edinburgh, United Kingdom(英国爱丁堡大学语音技术研究中心)
最近,循环神经网络(RNN)作为强大的序列模型已经重新出现,作为一个潜在的声学模型的统计参数语音合成(SPSS)。长短期记忆(LSTM)架构特别有吸引力,因为它解决了标准RNN中的梯度消失问题,使它们更容易训练。尽管最近的研究表明,LSTM在SPSS上的性能明显优于深度前馈神经网络,但人们对其中的原因知之甚少。在这里,我们试图回答两个问题:a)为什么LSTM作为SPSS的序列模型工作得很好; b)哪个组件(例如,输入门、输出门、遗忘门)是最重要的。我们提出了一个可视化的分析,以及一系列的实验,从而在一个简化的架构的建议。简化的架构具有比LSTM少得多的参数,因此在不降低质量的情况下大大降低了生成复杂度。
2016-01-11 cs.CL cs.NE
Light Gated Recurrent Units for Speech Recognition
直接受益于深度学习最新进展的一个领域是自动语音识别(ASR)。然而,尽管过去几十年取得了巨大成就,但自然和强大的人机语音交互似乎仍然遥不可及,特别是在以显著噪声和混响为特征的具有挑战性的环境中。为了提高鲁棒性,现代语音识别器通常采用基于递归神经网络(RNN)的声学模型,这些模型自然能够利用大时间上下文和长期语音调制。因此,继续研究适当的技术来提高RNN在处理语音信号中的有效性是非常有意义的。在本文中,我们修改了最流行的RNN模型之一,即门控递归单元(GRU),并提出了一种简化的架构,该架构对ASR非常有效。这项工作的贡献是双重的:首先,我们分析了复位门所扮演的角色,显示出一个显着的冗余与更新门发生。因此,我们建议从GRU设计中删除前者,从而实现更高效和紧凑的单门模型。其次,我们建议用ReLU激活来取代双曲正切。这种变化与批量归一化很好地结合在一起,可以帮助模型学习长期依赖关系,而不会出现数值问题。结果表明,所提出的称为Light GRU(Li-GRU)的架构不仅比标准GRU减少了30%以上的每历元训练时间,而且在不同的任务、输入特征、噪声条件以及不同的ASR范例(从标准DNN-HMM语音识别器到端到端CTC模型)之间,都能持续提高识别准确性。
2018-03-26 cs.NE cs.SD eess.AS