Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University（北京大学）
基于长短期记忆（LSTM）的声学建模方法最近已被证明在某些语音识别任务上具有最先进的性能。为了进一步提高性能，在这项研究中，考虑到深层层次模型比浅层模型更有效，研究了LSTM的深层扩展。受先前关于构建深度循环神经网络（RNN）的研究的启发，提出了替代的深度LSTM架构，并在大词汇量会话电话语音识别任务上进行了经验评估。同时，对于多GPU设备，介绍并讨论了LSTM网络的训练过程。实验结果表明，深度LSTM网络受益于深度，并在此任务上产生最先进的性能。
2015-05-11 cs.CL cs.NE
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Recurrent Highway Networks
ETH Zürich（苏黎世联邦理工学院）；The Swiss AI Lab IDSIA (USI-SUPSI)（瑞士人工智能实验室IDSIA（卢加诺大学-瑞士南部应用科学与艺术大学））；NNAISENSE
许多顺序处理任务需要从一个步骤到下一个步骤的复杂的非线性过渡函数。然而，即使使用长短期记忆（LSTM）网络，具有“深度”转换函数的递归神经网络仍然难以训练。我们介绍了一种基于Gersgorin圆定理的递归网络的新理论分析，它阐明了几个建模和优化问题，并提高了我们对LSTM单元的理解。基于这种分析，我们提出了递归高速公路网络，它扩展了LSTM架构，允许步骤到步骤的过渡深度大于1。几个语言建模实验表明，所提出的架构的结果在强大而有效的模型。在Penn Treebank语料库上，仅将过渡深度从1增加到10，使用相同数量的参数将单词级别的困惑度从90.6提高到65.4。在较大的维基百科字符预测数据集（text8和enwik8）上，RHN优于所有以前的结果，并实现了每个字符1.27位的熵。
2017-07-04 cs.CL cs.LG cs.NE
Visualizing and Understanding Recurrent Networks
Stanford University（斯坦福大学）
循环神经网络（RNN），特别是具有长短期记忆（LSTM）的变体，由于在涉及序列数据的广泛机器学习问题中的成功应用而重新受到关注。然而，尽管长期短期措施在实践中取得了非凡的成果，但人们对其性能的来源及其局限性仍然知之甚少。使用字符级语言模型作为可解释的测试平台，我们的目标是通过分析它们的表示，预测和错误类型来弥合这一差距。特别是，我们的实验揭示了可解释的细胞的存在，跟踪长范围的依赖关系，如行的长度，引号和括号。此外，我们与有限水平n-gram模型的比较分析将LSTM改进的来源追溯到了长程结构依赖关系。最后，我们分析了剩余的错误，并提出了进一步研究的领域。
2015-11-17 cs.CL cs.LG cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
LSTMVis: A Tool for Visual Analysis of Hidden State Dynamics in Recurrent Neural Networks
Harvard School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
循环神经网络，特别是长短期记忆（LSTM）网络，是一种非常有效的序列建模工具，它学习序列输入的密集黑盒隐藏表示。有兴趣更好地理解这些模型的研究人员研究了隐藏状态表示随时间的变化，并注意到一些可解释的模式，但也有显着的噪音。在这项工作中，我们提出了LSTMVIS，一个循环神经网络的可视化分析工具，重点是理解这些隐藏的状态动态。该工具允许用户选择一个假设输入范围，专注于本地状态变化，将这些状态变化与大型数据集中的类似模式相匹配，并将这些结果与其域的结构注释对齐。我们展示了该工具的几个用例，用于分析包含嵌套，短语结构和和弦进行的数据集上的特定隐藏状态属性，并演示了该工具如何用于隔离模式以进行进一步的统计分析。我们描述了领域，不同的利益相关者，以及他们的目标和任务。
2017-10-30 cs.AI cs.CL cs.NE
Investigating gated recurrent neural networks for speech synthesis
The Centre for Speech Technology Research, University of Edinburgh, United Kingdom（英国爱丁堡大学语音技术研究中心）
最近，循环神经网络（RNN）作为强大的序列模型已经重新出现，作为一个潜在的声学模型的统计参数语音合成（SPSS）。长短期记忆（LSTM）架构特别有吸引力，因为它解决了标准RNN中的梯度消失问题，使它们更容易训练。尽管最近的研究表明，LSTM在SPSS上的性能明显优于深度前馈神经网络，但人们对其中的原因知之甚少。在这里，我们试图回答两个问题：a）为什么LSTM作为SPSS的序列模型工作得很好; b）哪个组件（例如，输入门、输出门、遗忘门）是最重要的。我们提出了一个可视化的分析，以及一系列的实验，从而在一个简化的架构的建议。简化的架构具有比LSTM少得多的参数，因此在不降低质量的情况下大大降低了生成复杂度。
2016-01-11 cs.CL cs.NE
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Recurrent Neural Network Regularization
我们为具有长短期记忆（LSTM）单元的递归神经网络（RNN）提出了一种简单的正则化技术。Dropout是正则化神经网络的最成功的技术，但在RNN和LSTM中效果不佳。在本文中，我们展示了如何正确地将dropout应用于LSTM，并表明它大大减少了各种任务的过拟合。这些任务包括语言建模、语音识别、图像字幕生成和机器翻译。
2015-02-19 cs.NE
Regularizing and Optimizing LSTM Language Models
Salesforce Research（Salesforce 研究院）
递归神经网络（RNN），如长短期记忆网络（LSTM），作为许多序列学习任务的基本构建块，包括机器翻译、语言建模和问答。在本文中，我们考虑了单词级语言建模的具体问题，并研究了正则化和优化基于LSTM的模型的策略。我们提出了权重下降的LSTM，它在隐藏到隐藏权重上使用DropConnect作为循环正则化的一种形式。此外，我们介绍NT-ASGD，平均随机梯度方法的一个变体，其中平均触发器是使用非单调条件确定的，而不是由用户调整。使用这些和其他正则化策略，我们在两个数据集上实现了最先进的单词级困惑：Penn Treebank上的57.3和WikiText-2上的65.8。在探索神经缓存与我们提出的模型相结合的有效性时，我们在Penn Treebank上实现了更低的最先进的困惑度，为52.8，在WikiText-2上为52.0。
2017-08-07 cs.CL cs.LG cs.NE
Can recurrent neural networks warp time?
Laboratoire de Recherche en Informatique（计算机研究实验室）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）；Université Paris Sud（巴黎南大学）
成功的递归模型，如长短期记忆（LSTM）和门控递归单元（GRU）使用专门的门控机制。从经验上讲，这些模型已经被发现可以改善中长期时间依赖性的学习，并有助于解决梯度消失问题。我们证明了循环模型中的可学习门形式上对输入数据中的一般时间变换提供了准不变性。我们从一个简单的公理方法中恢复了部分LSTM架构。这一结果导致了一种新的方式初始化的栅极偏置在LSTM和GRU。实验表明，这种新的计时初始化大大提高了学习的长期依赖关系，以最小的实现工作。
2018-03-23 cs.LG cs.NE stat.ML
RecLight: A Recurrent Neural Network Accelerator with Integrated Silicon Photonics
Colorado State University（科罗拉多州立大学）
递归神经网络（RNN）用于学习数据序列中的依赖关系的应用，例如语音识别、人类活动识别和异常检测。近年来，较新的RNN变体，如GRU和LSTM，已被用于实现这些应用程序。由于许多这些应用程序都是在实时场景中使用的，因此加速RNN/LSTM/GRU推理至关重要。在本文中，我们提出了一种新的光子硬件加速器RecLight，用于加速简单的RNN，GRU和LSTM。仿真结果表明，与最先进的技术相比，RecLight的每比特能量降低了37倍，吞吐量提高了10%。
2022-08-31 cs.AR cs.LG cs.NE
Short note on the behavior of recurrent neural network for noisy dynamical system
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
研究了循环神经网络用于噪声动力系统数据驱动模拟的行为，在具有广泛噪声水平的Mackey-Glass时间序列上训练一组长短期记忆网络（LSTM）.研究发现，随着训练噪声变得越来越大，LSTM学习更多地依赖于其自主动态，而不是噪声输入数据。因此，在噪声数据上训练的LSTM变得不太容易受到数据扰动的影响，但具有更长的松弛时间尺度。另一方面，当在无噪声数据上训练时，LSTM对小扰动变得非常敏感，但能够根据输入数据的变化进行调整。
2019-04-05 cs.LG cs.NE physics.comp-ph
Recurrent Memory Array Structures
IBM Research（IBM研究院）
以下报告介绍了增强标准长短期记忆（LSTM）架构的想法，每个隐藏单元具有多个存储单元，以提高其泛化能力。它考虑了内存操作的确定性和随机变量。结果表明，非确定性Array-LSTM方法提高了字符级文本预测的最新性能，在enwik 8数据集上实现了1.402 BPC。此外，本报告分别为enwik 9和enwik 10数据集建立了1.12 BPC和1.19 BPC的基线基于神经的结果。
2016-10-23 cs.LG cs.NE
MCRM: Mother Compact Recurrent Memory
LSTM和GRU是用于解决时间序列问题的最常见的递归神经网络架构。这两种架构具有不同的数据流，处理称为单元状态（也称为存储器）的公共组件。我们试图通过提出一种我们称之为母亲紧凑递归记忆（MCRM）的修改来增强记忆。MCRM是一种嵌套LSTM-GRU架构，其中单元状态是GRU隐藏状态。来自LSTM的遗忘门和输入门交互的级联被认为是GRU单元的输入。由于MCRM具有这种类型的嵌套，MCRM具有由神经元组成的紧凑的记忆模式，这些神经元以长期和短期的方式明确地起作用。对于一些特定的任务，实证结果表明，MCRM优于以前使用的架构。
2019-08-06 cs.LG cs.NE stat.ML
Optimizing and Contrasting Recurrent Neural Network Architectures
University of Edinburgh（爱丁堡大学）
递归神经网络（RNN）长期以来一直被认为具有建模复杂时间序列的潜力。然而，仍然需要确定什么样的优化技术和递归架构可以用来最好地实现这一潜力。提出的实验深入研究海森自由优化，一个强大的二阶优化方法，已显示出有前途的结果，但仍然没有得到广泛的使用。该算法被用于训练到许多RNN架构，包括标准RNN，长短期记忆，乘法RNN和堆叠RNN的字符预测任务。从这些实验中获得的见解导致创建了一种新的乘法LSTM混合架构，其性能优于LSTM和乘法RNN。当在更大规模上进行测试时，乘法LSTM使用非常不同的方法实现了与RNN最新技术水平竞争的字符级建模结果。
2015-10-16 cs.LG cs.NE stat.ML
Simplified Long Short-term Memory Recurrent Neural Networks: part III
Michigan State University（密歇根州立大学）
这是三部分工作的第三部分。在第一部分和第二部分中，我们提出了简化的长短期记忆（LSTM）循环神经网络（RNN）的八种变体。值得注意的是，快速计算，特别是在有限的计算资源，是在处理大的时间序列数据的一个重要因素。在这篇第三部分的论文中，我们提出并评估了两种新的LSTM模型变体，它们大大降低了计算负载，同时保持了与基本（标准）LSTM RNN相当的性能。在这些新的变体中，除了门控信号网络之外，我们还在单元存储器网络中施加（Hadamard）逐点状态乘法。
2017-07-14 cs.LG cs.NE
Analyzing and Exploiting NARX Recurrent Neural Networks for Long-Term Dependencies
循环神经网络（RNN）在许多不同的任务上都取得了最先进的性能，从机器翻译到手术活动识别，但训练RNN捕获长期依赖性仍然很困难。到目前为止，绝大多数成功的RNN架构使用状态之间的近似加法连接来缓解这个问题，如长短期记忆（LSTM）所引入的。我们采用正交方法并引入MIST RNN，这是一种NARX RNN架构，允许从遥远的过去进行直接连接。我们发现，MIST RNN 1）与LSTM和以前提出的NARX RNN相比，具有更好的消失梯度特性; 2）比以前提出的NARX RNN架构更有效，需要的计算比LSTM更少; 3）在需要非常长期依赖关系的任务上，与LSTM和Clockwork RNN相比，性能大幅提高。
2018-04-20 cs.NE
From Nodes to Networks: Evolving Recurrent Neural Networks
Sentient Technologies, Inc（森蒂恩特科技公司）
诸如由长短期记忆（LSTM）节点组成的那些门控递归网络最近已被用于改进诸如语音识别和机器翻译的许多顺序处理任务中的现有技术。然而，LSTM节点的基本结构与25年前首次构想时基本相同。最近，进化和强化学习机制已被用于创建这种结构的新变体。本文提出了一种新的方法，进化树为基础的编码的门控记忆节点，并表明，它可以探索新的变化比其他方法更有效。该方法发现了具有多个递归路径和多个存储单元的节点，这导致了标准语言建模基准任务的显著改进。本文还展示了如何通过训练LSTM网络来评估候选结构的性能，以及鼓励探索新的解决方案来加快搜索过程。因此，复杂神经网络结构的进化设计有望提高深度学习架构的性能，超出人类的能力。
2018-06-07 cs.LG cs.NE
Simple Recurrent Units for Highly Parallelizable Recurrence
ASAPP Inc.（ASAPP公司）；Google Brain（谷歌大脑）；Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
常见的递归神经架构由于其状态计算并行化的内在困难而伸缩性差。在这项工作中，我们提出了简单的循环单元（SRU），一个轻的循环单元，平衡模型的容量和可扩展性。SRU旨在提供富有表现力的递归，支持高度并行化的实现，并附带精心的初始化以促进深度模型的训练。我们证明了SRU在多个NLP任务上的有效性。SRU在分类和问答数据集上实现了比cuDNN优化的LSTM快5- 9倍的速度，并提供了比LSTM和卷积模型更强大的结果。我们还获得了平均0.7 BLEU的改进，通过将SRU纳入架构的Transformer模型的翻译。
2018-09-07 cs.CL cs.NE
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
testRNN: Coverage-guided Testing on Recurrent Neural Networks
University of Liverpool（利物浦大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室（Dstl））
循环神经网络（RNN）已被广泛应用于诸如文本处理、视频识别和分子性质预测的各种顺序任务。我们介绍了第一个覆盖率引导的测试工具，创造了testRNN，用于验证和验证一个主要类别的RNN，长短期记忆网络（LSTM）。该工具实现了一种通用的基于变异的测试用例生成方法，并使用三种新的LSTM结构测试覆盖度量来经验性地评估网络的鲁棒性。此外，它还能够帮助模型设计者完成LSTM层的内部数据流处理。该工具可通过https://github.com/TrustAI/testRNN在BSD 3-Clause许可证下获得。
2019-06-20 cs.LG cs.NE cs.SE
On Extended Long Short-term Memory and Dependent Bidirectional Recurrent Neural Network
University of Southern California（南加州大学）
在这项工作中，我们首先分析了三个递归神经网络（RNN）细胞中的记忆行为;即简单RNN（SRN），长短期记忆（LSTM）和门控递归单元（GRU），其中记忆被定义为将序列中的先前元素映射到当前输出的函数。我们的研究表明他们三个人的记忆都在快速衰退。然后，为了减轻这种影响，我们引入了可训练的缩放因子，它就像一种注意力机制，可以自适应地调整记忆衰退。新的设计被称为扩展的LSTM（ELSTM）。最后，为了设计一个对以前的错误预测具有鲁棒性的系统，我们提出了一个依赖双向循环神经网络（DBRNN）。在不同的语言任务上进行了大量的实验，以证明所提出的ELSTM和DBRNN解决方案的优越性。在依存句法分析（DP）任务中，与LSTM和GRU相比，ELTSM的标记附件得分（LAS）提高了30%。我们的模型在LAS中的表现也优于其他最先进的模型，例如双注意力和卷积序列到序列（convseq 2seq），接近10%。代码以开源形式发布（https：//github.com/yuanhangsu/ELSTM-DBRNN）
2019-11-17 cs.CL cs.LG cs.NE
A comparison of LSTM and GRU networks for learning symbolic sequences
The University of Manchester（曼彻斯特大学）
本文通过生成不同复杂度的符号序列训练并比较LSTM与GRU网络，发现深度增加不一定提升记忆，学习率与每层单元数是关键超参数，且GRU擅长低复杂度序列，LSTM擅长高复杂度序列。
2023-01-04 cs.LG cs.NE
Driver Identification Based on Vehicle Telematics Data using LSTM-Recurrent Neural Network
Autonomous Control and Information Technology (ACIT) Institute（自主控制与信息技术（ACIT）研究院）
尽管汽车安全系统取得了进步，但在过去十年中，汽车盗窃率有所上升，对互联网连接和自动驾驶汽车的网络安全攻击正在成为一种新的威胁。本文提出了一种深度学习模型，该模型可以基于车辆远程信息处理数据，从驾驶员的驾驶行为中识别驾驶员。所提出的长短期记忆（LSTM）模型基于从车辆远程信息处理数据中学习到的个人独特驾驶模式来预测驾驶员的身份。由于远程信息处理是时间序列数据，该问题被制定为一个时间序列预测任务，以利用嵌入的顺序信息。在三个自然驾驶数据集上对该方法的性能进行了评估，得到了高精度的预测结果。噪声和异常数据，通常是由传感器缺陷或环境因素的模型的鲁棒性也进行了研究。结果表明，该模型的预测精度仍然令人满意，优于其他方法，尽管异常和噪声引起的数据的程度。
2019-11-19 cs.LG cs.NE eess.SP
Multiplicative LSTM for sequence modelling
我们介绍了乘法LSTM（mLSTM），这是一种用于序列建模的递归神经网络架构，它结合了长短期记忆（LSTM）和乘法递归神经网络架构。mLSTM的特点是它能够为每个可能的输入提供不同的递归转换函数，我们认为这使得它更适合自回归密度估计。我们凭经验证明，mLSTM在一系列字符级语言建模任务中优于标准LSTM及其深度变体。在这个版本的论文中，我们正则化mLSTM，以实现text 8上的1.27 bits/char和Hutter Prize上的1.24 bits/char。我们还在WikiText-2数据集上应用了一个纯字节级的mLSTM，以实现1.26 bits/char的字符级熵，对应于88.8的单词级困惑度，这与在同一任务中以类似方式正则化的单词级LSTM相当。
2017-10-12 cs.NE stat.ML
Simplified Long Short-term Memory Recurrent Neural Networks: part II
Michigan State University（密歇根州立大学）
这是三部分工作的第二部分。在这里，我们通过进一步减少自适应参数，提出了简化的长短期记忆（LSTM）循环神经网络的第二组相互关联的五种变体。其中两个模型已被介绍在第一部分的这项工作。我们在基准MNIST数据集上评估和验证了我们的模型变体，并断言这些模型与基本LSTM模型相当，同时使用的参数数量逐渐减少。此外，我们观察到，在使用ReLU激活的情况下，当学习参数变得更大时，标准LSTM的测试准确性性能将在多个epoch之后下降。然而，所有新型号的变体都保持了它们的性能。
2017-07-14 cs.LG cs.NE
Single stream parallelization of generalized LSTM-like RNNs on a GPU
Seoul National University（首尔国立大学）
递归神经网络（RNN）在处理序列数据方面表现出出色的性能。然而，他们遭受从长的训练时间，这需要并行实施的训练过程。RNN的训练算法的并行化是非常具有挑战性的，因为内部递归路径在两个不同的时间框架之间形成依赖关系。在本文中，我们首先提出了一种广义的基于图的RNN结构，它涵盖了最流行的长短期记忆（LSTM）网络。然后，我们提出了一种并行化方法，通过分析图结构自动探索任意RNN的并行性。实验结果表明，即使使用单个训练流，所提出的方法也表现出很大的速度提升，并且当与多个并行训练流结合时，进一步加速了训练。
2015-03-10 cs.LG cs.NE
Bach in 2014: Music Composition with Recurrent Neural Network
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个使用弹性传播（RProp）和长短期记忆（LSTM）循环神经网络的计算机音乐创作框架。在本文中，我们展示了LSTM网络通过展示其重新创建音乐的能力来正确学习音乐作品的结构和特征。我们还表明，预测现有的音乐使用RProp优于反向传播通过时间（BPTT）。
2014-12-14 cs.AI cs.NE
SLIM LSTMs
Department of Electrical and Computer Engineering Michigan State University（密歇根州立大学电气与计算机工程系）；Circuits, Systems, and Neural Networks (CSANN) Lab（电路、系统与神经网络（CSANN）实验室）
长短期记忆（LSTM）递归神经网络（RNN）依赖于选通信号，每个选通信号由至少3个分量的加权和的函数驱动：（i）自适应权重矩阵乘以传入的外部输入向量序列中的一个，（ii）一个自适应权重矩阵乘以先前的记忆/状态向量，以及（iii）一个自适应偏置向量。实际上，它们通过添加“存储单元“和最多3个门控信号来增强简单的递归神经网络（sRNN）结构。标准的LSTM结构和组件包含冗余和过度增加的参数化。在本文中，我们系统地介绍了LSTM RNN的变体，称为SLIM LSTM。这些变体表达了积极减少的参数化，以实现计算节省和/或（训练）性能加速-同时必须保留（验证准确性）与标准LSTM RNN相当的性能。
2018-12-29 cs.AI cs.LG cs.NE
Cells in Multidimensional Recurrent Neural Networks
University of Rostock（罗斯托克大学）；Institute of Mathematics（数学研究所）
手写文本在图像上的转录是机器学习中的一个任务，并且解决它的一个解决方案是使用具有连接主义时间分类（CTC）的多维循环神经网络（MDRNN）。RNN可以包含特殊的单元，即长短期记忆（LSTM）单元。它们能够学习长期依赖性，但当维度选择大于1时，它们会变得不稳定。我们为一维LSTM细胞定义了一些有用和必要的性质，并将它们扩展到多维情况。因此，我们介绍了几个新的细胞具有更好的稳定性。我们提出了一种方法来设计细胞使用的理论，线性平移不变系统。将新的细胞与IFN/ENIT和Rimes数据库上的LSTM细胞进行比较，与LSTM细胞相比，我们可以提高识别率。因此，在MDRNN中使用LSTM细胞的每个应用都可以通过用新开发的细胞取代它们来改进。
2016-02-16 cs.AI cs.NE
MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification
School of Electrical and Computer Engineering, University of Tehran（德黑兰大学电气与计算机工程学院）；Division of Intelligent Future Technologies, Malardalen University（马拉达伦大学智能未来技术系）
递归神经网络（RNN）广泛用于在诸如EEG分类的应用中学习序列。由于复杂的RNN的计算和内存密集型处理模式，它们很难部署在可穿戴设备上。一般来说，精度的降低会带来更高的效率，二值化RNN被引入作为节能解决方案。然而，朴素的二值化方法导致EEG分类的准确性显著损失。在本文中，我们提出了一种多级二值化的LSTM，它大大减少了计算，同时确保了非常接近全精度LSTM的精度。我们的方法减少了3位LSTM单元操作47* 的延迟，精度损失小于0.01%。
2020-04-19 cs.LG cs.NE eess.SP
Optimizing Long Short-Term Memory Recurrent Neural Networks Using Ant Colony Optimization to Predict Turbine Engine Vibration
University of North Dakota（北达科他大学）
这篇文章扩展了已经完成的研究，以开发一种能够使用长短期记忆（LSTM）神经元预测飞机发动机振动的递归神经网络（RNN）。LSTM RNN可以为发动机振动的分析计算提供更通用和更强大的预测方法，因为分析计算必须基于特定的经验发动机参数迭代求解，使得这种方法无法在多个发动机中推广。在最初的工作中，提出、评估和比较了多种LSTM RNN架构。这项研究通过使用基于蚁群优化（ACO）的有前途的神经进化方法来开发和增强网络的LSTM细胞结构，从而提高了以前工作中提出的最有效的LSTM网络设计的性能。已经开发了ACO神经进化算法的并行化版本，并将进化的LSTM RNN与以前使用的固定拓扑进行了比较。进化后的网络是在一个大型的飞行数据记录数据库上训练的，该数据库是从一家航空公司获得的，该航空公司的航班遭受了过度振动。结果是在高性能计算（HPC）集群上使用MPI（消息传递接口）获得的，在4天内使用168个核心进化了1000个不同的LSTM单元结构。新进化的LSTM单元显示出1.35%的改进，在预测未来10秒的过度发动机振动时，预测误差从5.51%降低到4.17%，同时将权重从21，170大幅减少到11，810。
2017-10-10 cs.AI cs.NE
A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
RWTH Aachen University（亚琛工业大学）
我们对基于深度双向长短期记忆（LSTM）递归神经网络（RNN）的自动语音识别（ASR）声学模型进行了全面研究。我们研究的效果的大小和深度和训练模型多达8层。我们研究了训练方面，并研究了优化方法的不同变体，如dropout，截断反向传播，不同的正则化技术，如dropout和$L_2$正则化，以及不同的梯度裁剪变体。实验分析的主要部分是在Quaero语料库上进行的。还在Switchboard语料库上进行了额外的实验。与Quaero任务上的最佳前馈神经网络（FFNN）基线相比，我们最好的LSTM模型在单词出错率方面有超过14%的相对改善。在这项任务中，我们使用8层双向LSTM获得了最佳结果，并且我们证明了具有逐层构造的预训练方案有助于深度LSTM。最后，我们比较了许多实验的训练计算时间与识别性能的关系。所有实验都是使用RETURNN（RWTH通用递归神经网络的可扩展训练框架）和RASR（RWTH ASR工具包）完成的。
2017-03-29 cs.CL cs.LG cs.NE
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络（SNN）的使用和发展的极大兴趣。然而，尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络（DNN）方面取得了重大进展，但对SNN的训练方法仍然知之甚少。在本文中，我们提出了一个新的框架来训练递归SNN。类似于递归神经网络（RNN）在DNN中学习时间序列模型的好处，我们开发了基于长短期记忆（LSTM）网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系，其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
E-PUR: An Energy-Efficient Processing Unit for Recurrent Neural Networks
循环神经网络（RNN）是自动语音识别、机器翻译或图像描述等新兴应用的关键技术。长短期记忆（LSTM）网络是最成功的RNN实现，因为它们可以学习长期依赖关系以实现高精度。不幸的是，LSTM网络的递归性质极大地限制了并行性的数量，因此，多核CPU和众核GPU在RNN推理方面表现出很差的效率。在本文中，我们提出了E-PUR，这是一种专为LSTM计算需求量身定制的节能处理单元。E-PUR的主要目标是为低功耗移动设备支持大型循环神经网络。E-PUR提供了LSTM网络的高效硬件实现，可以灵活地支持各种应用。其主要的新颖性之一是一种技术，我们称之为最大化权重局部性（MWL），它提高了时间局部性的内存访问获取突触的权重，减少了很大程度上的内存需求。我们的实验结果表明，E-PUR实现了不同LSTM网络的实时性能，同时相对于通用处理器和GPU降低了几个数量级的能耗，并且它需要非常小的芯片面积。与现代移动SoC相比，NVIDIA Tegra X1，E-PUR的平均能耗降低了92倍。
2017-11-20 cs.AR cs.NE
Minimal Gated Unit for Recurrent Neural Networks
Nanjing University（南京大学）
最近循环神经网络（RNN）在处理序列数据方面非常成功。然而，理解RNN并找到RNN的最佳实践是一项艰巨的任务，部分原因是存在许多竞争和复杂的隐藏单元（如LSTM和GRU）。我们提出了一种RNN的门单元，称为最小门单元（MGU），因为它只包含一个门，这是所有门隐藏单元中的最小设计。MGU的设计受益于文献中对LSTM和GRU的评估结果。在不同序列数据上的实验表明，MGU具有与GRU相当的准确性，但具有更简单的结构，更少的参数和更快的训练速度。因此，MGU适用于RNN的应用。它简单的架构也意味着它更容易评估和调整，原则上更容易从理论和经验上研究MGU的属性。
2016-03-31 cs.LG cs.NE
A Dynamically Controlled Recurrent Neural Network for Modeling Dynamical Systems
The Pennsylvania State University（宾夕法尼亚州立大学）；Children’s Hospital of Philadelphia（费城儿童医院）
这项工作提出了一种新的神经网络架构，称为动态控制的循环神经网络（DCRNN），专门设计用于模拟由常微分方程（ODE）控制的动态系统。这些类型的动态系统的当前状态向量仅取决于它们的状态空间模型以及各自的输入和初始条件。长短期记忆（LSTM）网络已被证明对基于记忆的任务非常有效，但可能无法对物理过程进行建模，因为它们倾向于记忆，而不是学习如何捕捉底层动态的信息。建议的DCRNN包括可学习的跳过连接以前隐藏的状态，并引入了正则化项的损失函数依赖于李雅普诺夫稳定性理论。正则化器使得由DCRNN引起的传递函数的特征值能够放置到期望值，从而充当隐藏状态轨迹的内部控制器。结果表明，对于预测混沌动力系统，DCRNN优于$100$随机实验中的$100$中的LSTM，通过减少$80.0\% \pm 3.0\%$的LSTM预测的均方误差。
2019-10-31 cs.LG cs.NE stat.ML
Overcoming the vanishing gradient problem in plain recurrent networks
普通递归网络严重受到消失梯度问题的影响，而门控神经网络（GNN），如长短期记忆（LSTM）和门控递归单元（GRU），通过复杂的网络设计在许多序列学习任务中提供了有希望的结果。本文展示了如何通过分析GNN中的门控机制来解决普通递归网络中的这个问题。我们提出了一种称为递归身份网络（RIN）的新型网络，它允许普通递归网络克服消失梯度问题，同时在不使用门的情况下训练非常深的模型。我们比较这个模型与IRNN和LSTM在多个序列建模基准。RIN在所有任务中均表现出具有竞争力的性能和更快的收敛速度。值得注意的是，小RIN模型在顺序和排列MNIST数据集上产生12%-67%的更高准确度，并且在bAbI问答数据集上达到最先进的性能。
2019-07-05 cs.NE
Graph Expansion in Pruned Recurrent Neural Network Layers Preserve Performance
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Polynom（波林公司）；Trinity College Dublin（都柏林三一学院）
本文通过保持递归神经网络底层图的扩展性质（大谱间隙）进行剪枝，在MNIST、CIFAR-10和Google语音命令基准上验证了该方法能保持RNN和LSTM的分类准确性。
2024-03-17 cs.CV cs.LG cs.NE
Predicting the Time Until a Vehicle Changes the Lane Using LSTM-based Recurrent Neural Networks
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）；RWTH Aachen University（亚琛工业大学）；University of Siegen（锡根大学）
为了规划自动驾驶汽车在高速公路上的安全舒适的轨迹，需要准确预测交通状况。到目前为止，大量的研究工作已经花在检测车道变换机动，而不是估计的时间点车道变换实际发生。然而，在实践中，这种时间信息可能更有用。本文论述了一个系统的发展，准确地预测时间到下一个车道的变化，周围的车辆在高速公路上使用长短期记忆为基础的循环神经网络。基于大量真实数据集的广泛评估表明，即使在最具挑战性的情况下，我们的方法也能够做出可靠的预测，均方根误差约为0.7秒。在变道前3.5秒，预测变得非常准确，显示出小于0.25秒的中位误差。总之，这篇文章形成了向下游高度准确的位置预测迈出的基本一步。
2021-02-03 cs.AI cs.LG cs.NE
Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
递归神经网络（RNN）在序列学习任务中得到了广泛的研究，而主流模型（例如，LSTM和GRU）依赖于门控机制（控制信息如何在隐藏状态之间流动）。然而，RNN中的香草门（例如，LSTM中的输入门）遭受门训练不足的问题，这可能是由各种因素引起的，例如饱和激活函数，门布局（例如，门数目和门控函数），或者甚至次优存储器状态等。这可能会导致学习门控开关角色的失败，从而导致性能低下。在本文中，我们提出了一个新的门控机制一般门控递归神经网络来处理这个问题。具体来说，所提出的门直接将提取的输入特征短接到香草门的输出，表示为精炼门。细化机制允许增强梯度反向传播以及扩展门控激活范围，这可以引导RNN达到可能更深的最小值。我们在三种流行的门控RNN上验证了所提出的门控机制，包括LSTM，GRU和MGU。在3个合成任务、3个语言建模任务和5个场景文本识别基准上的实验证明了该方法的有效性。
2020-05-26 cs.CV cs.LG cs.NE
Explaining Recurrent Neural Network Predictions in Sentiment Analysis
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
最近，一种称为分层相关传播（LRP）的技术被证明可以以输入空间相关性的形式提供有见地的解释，以理解前馈神经网络分类决策。在目前的工作中，我们将LRP的使用扩展到递归神经网络。我们提出了一个特定的传播规则适用于乘法连接，因为它们出现在经常性的网络架构，如LSTM和GRU。我们将我们的技术应用于一个基于单词的双向LSTM模型，并对五类情感预测任务进行了定性和定量评估，获得了比以前工作中使用的基于梯度的相关方法更好的结果。
2017-08-04 cs.AI cs.CL cs.NE
Large-Scale Spectrum Occupancy Learning via Tensor Decomposition and LSTM Networks
University of Central Florida（中佛罗里达大学）
提出了一种基于长短期记忆（LSTM）递归神经网络的大规模频谱占用学习新范式。研究表明，频谱使用是一个高度相关的时间序列。此外，不同频率信道之间的频谱占用存在相关性。因此，使用一维时间序列的学习和预测来揭示所有这些相关性并不是一项简单的任务。在本文中，我们介绍了一个新的框架，用于表示在张量格式的频谱测量。接下来，提出了一种基于CANDECOMP/PARFAC（CP）张量分解和LSTM递归神经网络的时间序列预测方法。所提出的方法是计算效率高，是能够捕获不同类型的相关性内的测量光谱。此外，它对噪声和感测频谱的缺失条目具有鲁棒性。在大规模的合成数据集的预测精度和计算效率方面，所提出的方法的优越性进行评估。
2019-05-10 cs.CV cs.LG cs.NE
Deep Gate Recurrent Neural Network
本文介绍了两种循环神经网络结构，称为简单门控单元（SGU）和深度简单门控单元（DSGU），这是用于学习长期依赖关系的通用结构。与传统的长短期记忆（LSTM）和门控递归单元（GRU）相比，这两种结构在序列分类任务中需要更少的参数和更少的计算时间。与GRU和LSTM需要多个门来控制网络中的信息流不同，SGU和DSGU只使用一个乘法门来控制信息流。我们表明，这种差异可以加快学习速度的任务，需要长依赖信息。我们还表明，DSGU是更稳定的数值比SGU。此外，我们还提出了一种表示RNN内部结构的标准方法--RNN常规图（RCG），它有助于分析RNN的输入设备和隐藏单元之间的关系。
2016-05-13 cs.NE
Benchmarking of LSTM Networks
LSTM（长短期记忆）递归神经网络在许多应用领域都非常成功。本技术报告描述了使用MNIST和UW3数据库对LSTM网络进行基准测试，并探讨了不同架构和超参数选择对性能的影响。重要的调查结果包括：（1）LSTM的性能平稳地依赖于学习率，（2）迭代和动量对性能没有显著影响，（3）softmax训练优于最小二乘训练，（4）窥视孔单元没有用，（5）标准非线性（tanh和sigmoid）表现最好，（6）双向训练结合CTC比其他方法表现更好。
2015-08-11 cs.NE
Cortical microcircuits as gated-recurrent neural networks
大脑皮层回路呈现出复杂的循环结构，这些结构在不同的大脑区域之间非常相似。这种刻板的结构表明存在共同的计算原则。然而，这些原则在很大程度上仍然难以实现。受门控记忆网络（即长短期记忆网络（LSTM））的启发，我们引入了一种循环神经网络，其中信息通过减法抑制细胞（subLSTM）进行门控。我们提出了一个自然的映射subLSTM到已知的典型兴奋抑制皮层微电路。我们对序列图像分类和语言建模任务的经验评估表明，subLSTM单元可以实现与LSTM单元相似的性能。这些结果表明，皮层电路可以优化，以解决复杂的上下文问题，并提出了一个新的观点，他们的计算功能。总的来说，我们的工作为统一机器学习中使用的循环网络与其生物对应物迈出了一步。
2018-01-03 cs.NE q-bio.NC stat.ML
