Recurrent Neural Network Regularization
我们为具有长短期记忆（LSTM）单元的递归神经网络（RNN）提出了一种简单的正则化技术。Dropout是正则化神经网络的最成功的技术，但在RNN和LSTM中效果不佳。在本文中，我们展示了如何正确地将dropout应用于LSTM，并表明它大大减少了各种任务的过拟合。这些任务包括语言建模、语音识别、图像字幕生成和机器翻译。
2015-02-19 cs.NE
SLIM LSTMs
Department of Electrical and Computer Engineering Michigan State University（密歇根州立大学电气与计算机工程系）；Circuits, Systems, and Neural Networks (CSANN) Lab（电路、系统与神经网络（CSANN）实验室）
长短期记忆（LSTM）递归神经网络（RNN）依赖于选通信号，每个选通信号由至少3个分量的加权和的函数驱动：（i）自适应权重矩阵乘以传入的外部输入向量序列中的一个，（ii）一个自适应权重矩阵乘以先前的记忆/状态向量，以及（iii）一个自适应偏置向量。实际上，它们通过添加“存储单元“和最多3个门控信号来增强简单的递归神经网络（sRNN）结构。标准的LSTM结构和组件包含冗余和过度增加的参数化。在本文中，我们系统地介绍了LSTM RNN的变体，称为SLIM LSTM。这些变体表达了积极减少的参数化，以实现计算节省和/或（训练）性能加速-同时必须保留（验证准确性）与标准LSTM RNN相当的性能。
2018-12-29 cs.AI cs.LG cs.NE
Learning Compact Recurrent Neural Networks
Google（谷歌）
循环神经网络（RNN），包括长短期记忆（LSTM）RNN，已经在各种语音识别任务上产生了最先进的结果。然而，这些模型对于在具有存储器和延迟限制的移动设备上的部署来说通常太大。在这项工作中，我们研究了通过低秩因子分解和参数共享方案学习紧凑RNN和LSTM的机制。我们的目标是调查冗余的经常性架构，压缩可以承认，而不会损失性能。在底层使用结构化矩阵和在顶层使用共享低秩因子的混合策略被发现特别有效，在2,000小时的英语语音搜索任务中，将标准LSTM的参数减少了75%，WER增加了0.3%。
2016-04-09 cs.CL cs.LG cs.NE
Highway Long Short-Term Memory RNNs for Distant Speech Recognition
University of Washington（华盛顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Microsoft Research（微软研究院）；Amazon（亚马逊）；Mitsubishi Electric（三菱电机）；MERL（三菱电机研究实验室）
在本文中，我们扩展了深长短期记忆（DLSTM）循环神经网络之间的门控直接连接相邻层的存储单元。这些直接链接，称为高速公路连接，使不同层之间的信息流畅通无阻，从而缓解了构建更深LSTM时的梯度消失问题。我们进一步介绍了延迟控制的双向LSTM（BLSTM），它可以利用整个历史，同时保持控制下的延迟。提出了有效的算法来训练这些新的网络使用帧和序列判别准则。AMI远程语音识别（DSR）任务的实验表明，我们可以训练更深的LSTM，并取得更好的改善从序列训练与公路LSTM（HLSTM）。我们的新模型在AMI（SDM）开发和评估集上获得了$43.9/47.7\%$ WER，性能优于所有以前的工作。它分别以$15.7\%$和$5.3\%$的相对改进击败了强大的DNN和DLSTM基线。
2016-01-11 cs.AI cs.CL cs.LG
Revisiting Activation Regularization for Language RNNs
Salesforce Research（Salesforce 研究院）
递归神经网络（RNN）是自然语言处理中许多序列任务的基本构建块。最近的研究集中在经常性的辍学技术或自定义RNN细胞，以提高性能。这两种方法都需要对机器学习模型或底层RNN配置进行大量修改。我们重新审视了传统的正则化技术，特别是RNN激活的L2正则化和连续隐藏状态的慢度正则化，以提高RNN在语言建模任务中的性能。这两种技术都需要对现有的RNN架构进行最小的修改，并导致与更复杂的正则化技术或自定义单元架构相当或更好的性能改进。这些正则化技术可以在优化的LSTM实现（如NVIDIA cuDNN LSTM）上使用，而无需任何修改。
2017-08-03 cs.CL cs.NE
RecLight: A Recurrent Neural Network Accelerator with Integrated Silicon Photonics
Colorado State University（科罗拉多州立大学）
递归神经网络（RNN）用于学习数据序列中的依赖关系的应用，例如语音识别、人类活动识别和异常检测。近年来，较新的RNN变体，如GRU和LSTM，已被用于实现这些应用程序。由于许多这些应用程序都是在实时场景中使用的，因此加速RNN/LSTM/GRU推理至关重要。在本文中，我们提出了一种新的光子硬件加速器RecLight，用于加速简单的RNN，GRU和LSTM。仿真结果表明，与最先进的技术相比，RecLight的每比特能量降低了37倍，吞吐量提高了10%。
2022-08-31 cs.AR cs.LG cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Diagonal RNNs in Symbolic Music Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）
在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。
2017-04-19 cs.LG cs.NE stat.ML
Tunable Efficient Unitary Neural Networks (EUNN) and their application to RNNs
Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
在人工神经网络（ANN）中使用酉（而不是一般）矩阵是解决梯度爆炸/消失问题的一种有前途的方法，也使ANN能够学习数据中的长期相关性。这种方法对于递归神经网络（RNN）来说特别有前途。在这项工作中，我们提出了一个新的架构，实现一个有效的酉神经网络（EUNNs），其主要优点可以概括如下。首先，EUNN中酉空间的表示容量是完全可调的，范围从SU（N）的子空间到整个酉空间。其次，训练EUNN的计算复杂性仅为每个参数的$\mathcal{O}(1)$。最后，我们测试了EUNN的性能上的标准复制任务，像素排列的MNIST数字识别基准以及语音预测测试（TIMIT）。我们发现，就最终性能和/或挂钟训练速度而言，我们的架构显着优于其他最先进的单位RNN和LSTM架构。因此，EUNN是RNN和LSTM的有前途的替代品，适用于各种应用。
2017-04-03 cs.LG cs.NE stat.ML
Simplified Long Short-term Memory Recurrent Neural Networks: part III
Michigan State University（密歇根州立大学）
这是三部分工作的第三部分。在第一部分和第二部分中，我们提出了简化的长短期记忆（LSTM）循环神经网络（RNN）的八种变体。值得注意的是，快速计算，特别是在有限的计算资源，是在处理大的时间序列数据的一个重要因素。在这篇第三部分的论文中，我们提出并评估了两种新的LSTM模型变体，它们大大降低了计算负载，同时保持了与基本（标准）LSTM RNN相当的性能。在这些新的变体中，除了门控信号网络之外，我们还在单元存储器网络中施加（Hadamard）逐点状态乘法。
2017-07-14 cs.LG cs.NE
Learning Intrinsic Sparse Structures within Long Short-Term Memory
Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）；Microsoft Research（微软研究院）；Bing（必应）；Business AI（商业人工智能）；Microsoft（微软）
模型压缩对于在拥有有限资源的用户设备和需要对大规模服务请求进行快速响应的业务集群中广泛采用递归神经网络（RNN）具有重要意义。这项工作旨在通过减少LSTM单元中基本结构的大小来学习结构稀疏的长短期记忆（LSTM），包括输入更新，门，隐藏状态，单元状态和输出。独立地减小基本结构的大小可能会导致它们之间的尺寸不一致，从而导致无效的LSTM单元。为了克服这个问题，我们提出了内在稀疏结构（ISS）的LSTM。删除ISS的一个组件将同时将所有基本结构的尺寸减少一个，从而始终保持尺寸的一致性。通过在LSTM单元内学习ISS，获得的LSTM保持规则，同时具有更小的基本结构。基于组Lasso正则化，我们的方法实现了10.59倍的加速，而不会失去任何语言建模的Penn TreeBank数据集的困惑。它也成功地通过一个紧凑的模型，只有2.69 M的权重为机器问答的SQuAD数据集进行评估。我们的方法成功地扩展到非LSTM RNN，如递归高速公路网络（RHN）。我们的源代码可在https://github.com/wenwei202/iss-rnns上公开获取
2018-02-11 cs.AI cs.CL cs.LG
Learning Over Long Time Lags
递归神经网络（RNN）在学习时间序列数据之间的依赖关系方面的优势使RNN区别于其他深度学习模型。最近，在这个新兴领域提出了许多进展。然而，在文献中缺乏对RNN中记忆模型的全面综述。本文对RNN和长短期记忆（LSTM）模型进行了综述。然后，提供了一个调查的最新进展，在不同的记忆增强和学习技术，以捕捉长期依赖的RNN。
2016-02-13 cs.NE
Gates Are Not What You Need in RNNs
Faculty of Computing, University of Latvia（拉脱维亚大学计算学院）；Institute of Mathematics and Computer Science at University of Latvia（拉脱维亚大学数学与计算机科学研究所）；Institute of Electronics and Computer Science（电子与计算机科学研究所）
提出无门控的残差循环单元RRU，基于残差连接、线性变换、ReLU和归一化，在多任务上超越传统门控RNN且对参数选择更具鲁棒性。
2023-11-22 cs.LG cs.NE
Fast Weight Long Short-Term Memory
Intel AI Lab, Artificial Intelligence Products Group, Intel Corporation（英特尔人工智能实验室，人工智能产品组，英特尔公司）
使用快速权重的联想记忆是一种短期记忆机制，它大大提高了递归神经网络（RNN）的记忆容量和时间尺度。由于最近的研究仅将快速权重引入常规RNN，因此不知道快速权重记忆是否对门控RNN有益。在这项工作中，我们报告了长短期记忆（LSTM）网络和快速权重联想记忆之间的显着协同作用。我们发现，这种组合，在学习联想检索任务，结果更快的训练和更低的测试错误，性能提升最突出的高记忆任务的困难。
2018-04-18 cs.LG cs.NE
Coverage Guided Testing for Recurrent Neural Networks
University of Liverpool（利物浦大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Defence Science and Technology Laboratory（国防科学技术实验室）；University of Exeter（埃克塞特大学）；Loughborough University（拉夫堡大学）
循环神经网络（RNN）已经被应用于广泛的应用，包括自然语言处理、药物发现和视频识别。它们对输入扰动的脆弱性也是已知的。从软件缺陷检测的角度出发，本文旨在开发一种覆盖引导的测试方法，系统地利用RNN的内部行为，期望这种测试可以检测出高可能性的缺陷。在技术上，长短期记忆网络（LSTM），一个主要类别的RNN，进行了深入研究。设计了一个由三个测试指标组成的测试指标族，不仅用于量化值，还用于量化LSTM处理输入时所表现出的时间关系（包括逐步和有界长度）。采用遗传算法高效地生成测试用例。测试指标和测试用例生成算法被实现到一个工具TestRNN中，然后在一组LSTM基准上进行评估。实验证实，TestRNN比最先进的工具DeepStellar和基于攻击的缺陷检测方法具有优势，因为它使用更精细的时间语义并考虑了输入扰动的自然性。此外，TestRNN能够收集和展示有意义的信息，以供用户理解测试结果，这是迈向可解释神经网络测试的重要一步。
2021-05-13 cs.LG cs.NE
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Parallelizing Linear Recurrent Neural Nets Over Sequence Length
Future of Humanity Institute, University of Oxford（牛津大学人类未来研究所）
递归神经网络（RNN）被广泛用于对序列数据进行建模，但它们在序列元素之间的非线性依赖关系阻止了序列长度上的并行训练。我们证明了只有线性顺序依赖关系的RNN的训练可以使用并行扫描算法在序列长度上并行化，从而即使在小的minibatch大小下也可以快速训练长序列。我们开发了一个并行线性递归CUDA内核，并表明它可以立即将几种最先进的RNN架构的训练和推理速度提高9倍。我们将最近关于线性RNN的工作抽象成一个新的线性代理RNN框架，并为长短期记忆单元GILR-LSTM开发了一个线性代理模型，该模型利用并行线性递归。我们将序列学习扩展到新的极长序列机制，这些机制以前是无法实现的，我们成功地在具有一百万时间步依赖性的合成序列分类任务上训练了GILR-LSTM。
2018-02-22 cs.AI cs.LG cs.NE
testRNN: Coverage-guided Testing on Recurrent Neural Networks
University of Liverpool（利物浦大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室（Dstl））
循环神经网络（RNN）已被广泛应用于诸如文本处理、视频识别和分子性质预测的各种顺序任务。我们介绍了第一个覆盖率引导的测试工具，创造了testRNN，用于验证和验证一个主要类别的RNN，长短期记忆网络（LSTM）。该工具实现了一种通用的基于变异的测试用例生成方法，并使用三种新的LSTM结构测试覆盖度量来经验性地评估网络的鲁棒性。此外，它还能够帮助模型设计者完成LSTM层的内部数据流处理。该工具可通过https://github.com/TrustAI/testRNN在BSD 3-Clause许可证下获得。
2019-06-20 cs.LG cs.NE cs.SE
Accelerating recurrent neural network training using sequence bucketing and multi-GPU data parallelization
Samsung R&D Institute Ukraine (SRK)（三星乌克兰研发中心）
提出了一种有效的循环神经网络训练算法。该方法提高了输入序列的长度可能显著变化的任务的训练速度。所提出的方法是基于最佳的批量分桶输入序列的长度和数据并行多个图形处理单元。将没有序列分桶的基线训练性能与针对不同数量的桶提出的解决方案进行比较。给出了使用LSTM循环神经网络的在线手写识别任务的示例。根据挂钟时间、epoch数和验证损失值执行评估。
2017-08-18 cs.LG cs.NE
A comparison of LSTM and GRU networks for learning symbolic sequences
The University of Manchester（曼彻斯特大学）
本文通过生成不同复杂度的符号序列训练并比较LSTM与GRU网络，发现深度增加不一定提升记忆，学习率与每层单元数是关键超参数，且GRU擅长低复杂度序列，LSTM擅长高复杂度序列。
2023-01-04 cs.LG cs.NE
MuBiNN: Multi-Level Binarized Recurrent Neural Network for EEG signal Classification
School of Electrical and Computer Engineering, University of Tehran（德黑兰大学电气与计算机工程学院）；Division of Intelligent Future Technologies, Malardalen University（马拉达伦大学智能未来技术系）
递归神经网络（RNN）广泛用于在诸如EEG分类的应用中学习序列。由于复杂的RNN的计算和内存密集型处理模式，它们很难部署在可穿戴设备上。一般来说，精度的降低会带来更高的效率，二值化RNN被引入作为节能解决方案。然而，朴素的二值化方法导致EEG分类的准确性显著损失。在本文中，我们提出了一种多级二值化的LSTM，它大大减少了计算，同时确保了非常接近全精度LSTM的精度。我们的方法减少了3位LSTM单元操作47* 的延迟，精度损失小于0.01%。
2020-04-19 cs.LG cs.NE eess.SP
Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks
Schmalkalden University of Applied Sciences（施马尔卡尔登应用科学大学）；Singapore University of Technology and Design（新加坡科技设计大学）
长短期记忆循环神经网络（LSTM-RNN）是目前已知的最强大的动态分类器之一。网络本身和相关的学习算法都有相当好的文档记录，以了解它是如何工作的。本文将更深入地了解LSTM-RNN是如何发展的，以及为什么它们工作得如此出色，重点关注早期的突破性出版物。我们显著改进了文档，并修复了以前出版物中积累的一些错误和不一致。为了支持理解，我们也修改和统一了所使用的符号。
2019-09-12 cs.CL cs.LG cs.NE
Iterative evaluation of LSTM cells
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Universidad Nacional de Tres de Febrero（二月三日国立大学）
在这项工作中，我们提出了通过LSTM网络的传统信息流的修改，我们认为它通常非常适合RNN。这种修改导致了一种迭代方案，其中LSTM单元执行的计算在恒定的输入和单元状态值上重复，同时更新隐藏状态有限次。我们提供了理论和经验证据来支持迭代方案的增强功能，并显示与语言建模相关的示例。修改产生的增强模型的性能相比，原模型增加了3倍以上的参数的总量。
2018-07-11 cs.LG cs.NE stat.ML
Recurrent Neural Network Training with Dark Knowledge Transfer
Huilan Ltd.（慧兰有限公司）；Sinovoice（中科信利）
递归神经网络（RNN），特别是长短期记忆（LSTM），在自动语音识别（ASR）中得到了广泛的关注。尽管已经报道了一些成功的案例，但训练RNN仍然具有很大的挑战性，特别是在训练数据有限的情况下。最近的研究发现，经过良好训练的模型可以作为教师来训练其他子模型，通过使用教师模型生成的预测作为监督。这种知识转移学习已被用来训练简单的神经网络与一个复杂的，使最终的性能可以达到一个水平，这是不可行的，以获得定期的培训。在本文中，我们采用知识转移学习方法来训练RNN（准确地说是LSTM），使用深度神经网络（DNN）模型作为教师。这与大多数现有的知识转移学习研究不同，因为教师（DNN）被假设为弱于儿童（RNN）;然而，我们在ASR任务上的实验表明，它工作得相当好：在学习方案上没有应用任何技巧，这种方法即使在有限的训练数据下也可以成功地训练RNN。
2016-05-08 cs.CL cs.LG cs.NE
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University（北京大学）
长短期记忆（LSTM）循环神经网络（RNN）已被证明在许多语音识别任务上具有最先进的性能，因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面，卷积神经网络（CNN）为深度前馈神经网络（FFNN）带来了显著的改进，因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络（CRNN）的网络结构。在提出的CRNN中，没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块，然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN，LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明，LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络（SNN）的使用和发展的极大兴趣。然而，尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络（DNN）方面取得了重大进展，但对SNN的训练方法仍然知之甚少。在本文中，我们提出了一个新的框架来训练递归SNN。类似于递归神经网络（RNN）在DNN中学习时间序列模型的好处，我们开发了基于长短期记忆（LSTM）网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系，其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
Investigating gated recurrent neural networks for speech synthesis
The Centre for Speech Technology Research, University of Edinburgh, United Kingdom（英国爱丁堡大学语音技术研究中心）
最近，循环神经网络（RNN）作为强大的序列模型已经重新出现，作为一个潜在的声学模型的统计参数语音合成（SPSS）。长短期记忆（LSTM）架构特别有吸引力，因为它解决了标准RNN中的梯度消失问题，使它们更容易训练。尽管最近的研究表明，LSTM在SPSS上的性能明显优于深度前馈神经网络，但人们对其中的原因知之甚少。在这里，我们试图回答两个问题：a）为什么LSTM作为SPSS的序列模型工作得很好; b）哪个组件（例如，输入门、输出门、遗忘门）是最重要的。我们提出了一个可视化的分析，以及一系列的实验，从而在一个简化的架构的建议。简化的架构具有比LSTM少得多的参数，因此在不降低质量的情况下大大降低了生成复杂度。
2016-01-11 cs.CL cs.NE
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology（长沙理工大学）；Honam University（湖南大学）
循环神经网络（RNN）已被广泛应用于处理时态问题，如洪水预报和金融数据处理。一方面，由于严格的时间序列依赖性，传统的RNN模型放大了梯度问题，使得难以实现长期记忆功能。另一方面，RNN细胞是高度复杂的，这将显著增加计算复杂性，并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络（TFC-RNNs）模型来解决梯度问题。在时间t-2处引入一个并行分支，将隐藏状态直接转移到时间t，而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上，提出了一种新的单元结构--单栅递归单元（SGRU）。这种单元结构可以减少RNN单元的参数数量，从而降低计算复杂性。接下来，将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后，通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明，我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500，有效地过滤掉噪声。在语言处理能力方面，TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Comparison between DeepESNs and gated RNNs on multivariate time-series prediction
University of Pisa（比萨大学）
我们提出了深度回声状态网络（DeepESN）和门控递归神经网络（RNN）在多变量时间序列预测任务上的实验比较。特别是，我们比较了水库和完全训练的RNN，它们能够表示具有多个时间尺度动态特征的信号。在4个复调音乐任务的效率和预测精度方面进行了分析。我们的研究结果表明，DeepESN在预测准确性和效率方面能够优于ESN。然而，在完全训练的方法之间，门控递归单元（GRU）在大多数情况下优于长短期记忆（LSTM）和简单的RNN模型。总体而言，DeepESN比其他RNN方法效率更高，并且在4个任务中的3个任务的预测准确性方面是最佳解决方案。
2019-11-20 cs.LG cs.NE stat.ML
Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN
Hangzhou Dianzi University（杭州电子科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
递归网络结构是序列建模中广泛使用的模型，但其串行依赖性阻碍了计算的并行化，使得运算效率低下。在数字电子学的早期阶段，串行加法器也遇到了同样的问题。在本文中，我们讨论了循环神经网络（RNN）和串行加法器之间的相似之处。受超前进位加法器的启发，我们将超前进位模块引入到RNN中，使RNN的并行运行成为可能。然后设计了RNN的并行计算方法，最后提出了Carry-lookahead RNN（CL-RNN）。CL-RNN具有并行性和灵活的感受野等优点。通过一组全面的测试，我们验证了CL-RNN在专门为RNN设计的序列建模任务中可以比现有的典型RNN表现得更好。
2021-08-24 cs.LG cs.NE
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Neural Networks Compression for Language Modeling
Samsung R&D Institute Rus（三星俄罗斯研发中心）；National Research University Higher School of Economics（国立研究型高等经济学院）
在本文中，我们考虑了几种压缩技术的语言建模问题的基础上循环神经网络（RNNs）。众所周知，传统的RNN，例如语言建模中基于LSTM的网络，具有高空间复杂度或大量推理时间的特征。这个问题对于移动应用程序尤其重要，因为在移动应用程序中，与远程服务器的持续交互是不合适的。通过使用Penn Treebank（PTB）数据集，我们比较了LSTM网络的修剪，量化，低秩因子分解，张量训练分解的模型大小和快速推理的适用性。
2017-08-20 cs.CL cs.LG cs.NE
Context-Free Transductions with Neural Stacks
Yale University（耶鲁大学）
本文分析了堆栈增广递归神经网络（RNN）模型的行为。由于堆栈RNN和下推传感器之间的架构相似性，我们在许多任务上训练堆栈RNN模型，包括字符串反转，上下文无关语言建模和累积XOR评估。检查我们的网络的行为，我们表明堆栈增强的RNN可以发现直观的基于堆栈的策略来解决我们的任务。然而，堆栈RNN比LSTM等经典架构更难训练。更复杂的网络通常使用堆栈作为非结构化存储器来找到近似解，而不是使用基于堆栈的策略。
2018-09-08 cs.CL cs.LG cs.NE
Optimizing Long Short-Term Memory Recurrent Neural Networks Using Ant Colony Optimization to Predict Turbine Engine Vibration
University of North Dakota（北达科他大学）
这篇文章扩展了已经完成的研究，以开发一种能够使用长短期记忆（LSTM）神经元预测飞机发动机振动的递归神经网络（RNN）。LSTM RNN可以为发动机振动的分析计算提供更通用和更强大的预测方法，因为分析计算必须基于特定的经验发动机参数迭代求解，使得这种方法无法在多个发动机中推广。在最初的工作中，提出、评估和比较了多种LSTM RNN架构。这项研究通过使用基于蚁群优化（ACO）的有前途的神经进化方法来开发和增强网络的LSTM细胞结构，从而提高了以前工作中提出的最有效的LSTM网络设计的性能。已经开发了ACO神经进化算法的并行化版本，并将进化的LSTM RNN与以前使用的固定拓扑进行了比较。进化后的网络是在一个大型的飞行数据记录数据库上训练的，该数据库是从一家航空公司获得的，该航空公司的航班遭受了过度振动。结果是在高性能计算（HPC）集群上使用MPI（消息传递接口）获得的，在4天内使用168个核心进化了1000个不同的LSTM单元结构。新进化的LSTM单元显示出1.35%的改进，在预测未来10秒的过度发动机振动时，预测误差从5.51%降低到4.17%，同时将权重从21，170大幅减少到11，810。
2017-10-10 cs.AI cs.NE
Discrete Event, Continuous Time RNNs
University of Colorado（科罗拉多大学）；Imagen Technologies
我们研究了用于事件序列处理的递归神经网络架构。事件序列，其特征在于离散的观察与连续值的发生时间，是具有挑战性的，由于潜在的广泛的动态范围的相关时间尺度以及时间尺度之间的相互作用。我们描述了四种形式的归纳偏见，应该有利于事件序列的架构：时间的局部性，位置和规模的同质性，规模的相互依赖性。我们扩展了流行的门控递归单元（GRU）架构，通过内在的时间动态将这些偏见，获得一个连续时间GRU。CT-GRU通过将GRU的门解释为选择存储器的时间尺度而产生，并且CT-GRU通过合并多个存储器的时间尺度并执行用于信息存储和检索的时间尺度的上下文相关选择来概括GRU。事件时间戳驱动CT-GRU的衰减动力学，而它们充当GRU的通用附加输入。尽管这两个模型考虑时间的方式非常不同，但它们在我们检查的11个数据集上的表现基本相同。我们令人惊讶的结果表明GRU和LSTM架构在处理连续时间方面的鲁棒性，以及将连续动态纳入神经架构的潜力。
2017-10-11 cs.LG cs.NE
Regularizing and Optimizing LSTM Language Models
Salesforce Research（Salesforce 研究院）
递归神经网络（RNN），如长短期记忆网络（LSTM），作为许多序列学习任务的基本构建块，包括机器翻译、语言建模和问答。在本文中，我们考虑了单词级语言建模的具体问题，并研究了正则化和优化基于LSTM的模型的策略。我们提出了权重下降的LSTM，它在隐藏到隐藏权重上使用DropConnect作为循环正则化的一种形式。此外，我们介绍NT-ASGD，平均随机梯度方法的一个变体，其中平均触发器是使用非单调条件确定的，而不是由用户调整。使用这些和其他正则化策略，我们在两个数据集上实现了最先进的单词级困惑：Penn Treebank上的57.3和WikiText-2上的65.8。在探索神经缓存与我们提出的模型相结合的有效性时，我们在Penn Treebank上实现了更低的最先进的困惑度，为52.8，在WikiText-2上为52.0。
2017-08-07 cs.CL cs.LG cs.NE
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Learning to Execute
具有长短期记忆单元（LSTM）的递归神经网络（RNN）被广泛使用，因为它们具有表达能力并且易于训练。我们的兴趣在于通过训练LSTM来评估短计算机程序（传统上被认为对神经网络来说过于复杂的一个领域），从而在序列到序列机制中实证评估LSTM的表达能力和可学习性。我们考虑一类简单的程序，可以用一个单一的从左到右通过使用常数内存进行评估。我们的主要结果是，LSTM可以学会映射字符级表示的程序，以正确的输出。值得注意的是，有必要使用课程学习，虽然传统的课程学习被证明是无效的，但我们开发了一种新的课程学习变体，它在所有实验条件下都提高了我们的网络性能。改进后的课程对加法问题产生了巨大的影响，使训练LSTM以99%的准确率将两个9位数相加成为可能。
2015-02-19 cs.AI cs.LG cs.NE
Higher Order Recurrent Neural Networks
York University（约克大学）
在本文中，我们研究了新的神经网络结构，以更好地模拟长期依赖的序列数据。我们建议使用更多的记忆单元来跟踪循环神经网络（RNN）中更多的先前状态，这些状态都通过不同的加权路径作为反馈被递归地馈送到隐藏层。通过扩展RNN中流行的递归结构，我们为模型提供了更好的短期记忆机制来学习序列中的长期依赖性。类似于信号处理中的数字滤波器，我们将这些结构称为高阶RNN（HORNs）。与RNN类似，HORN也可以使用时间反向传播方法来学习。HORN通常适用于各种序列建模任务。在这项工作中，我们已经研究了HORNs的语言建模任务，使用两个流行的数据集，即Penn Treebank（PTB）和英语text8数据集。实验结果表明，提出的HORN在两个数据集上都具有最先进的性能，显着优于常规RNN和流行的LSTM。
2016-04-30 cs.AI cs.NE
Training Language Models Using Target-Propagation
Harvard SEAS（哈佛大学工程与应用科学学院）；Facebook AI Research（Facebook人工智能研究院）
虽然截断时间反向传播（BPTT）是训练递归神经网络（RNN）最流行的方法，但它具有固有的顺序性（使得并行化困难），并且在遥远的时间步长之间截断梯度流。我们调查是否目标传播（TPROP）风格的方法可以解决这些缺点。不幸的是，大量的实验表明，TPROP一般表现不佳BPTT，我们结束了这种现象的分析，并为今后的工作提出建议。
2017-02-15 cs.CL cs.LG cs.NE
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University（北京大学）
基于长短期记忆（LSTM）的声学建模方法最近已被证明在某些语音识别任务上具有最先进的性能。为了进一步提高性能，在这项研究中，考虑到深层层次模型比浅层模型更有效，研究了LSTM的深层扩展。受先前关于构建深度循环神经网络（RNN）的研究的启发，提出了替代的深度LSTM架构，并在大词汇量会话电话语音识别任务上进行了经验评估。同时，对于多GPU设备，介绍并讨论了LSTM网络的训练过程。实验结果表明，深度LSTM网络受益于深度，并在此任务上产生最先进的性能。
2015-05-11 cs.CL cs.NE
Visualizing and Understanding Recurrent Networks
Stanford University（斯坦福大学）
循环神经网络（RNN），特别是具有长短期记忆（LSTM）的变体，由于在涉及序列数据的广泛机器学习问题中的成功应用而重新受到关注。然而，尽管长期短期措施在实践中取得了非凡的成果，但人们对其性能的来源及其局限性仍然知之甚少。使用字符级语言模型作为可解释的测试平台，我们的目标是通过分析它们的表示，预测和错误类型来弥合这一差距。特别是，我们的实验揭示了可解释的细胞的存在，跟踪长范围的依赖关系，如行的长度，引号和括号。此外，我们与有限水平n-gram模型的比较分析将LSTM改进的来源追溯到了长程结构依赖关系。最后，我们分析了剩余的错误，并提出了进一步研究的领域。
2015-11-17 cs.CL cs.LG cs.NE
Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities and Differences
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Tsinghua University（清华大学）
神经形态数据记录无框架的锋电位事件，由于其时空信息成分和事件驱动的加工方式而引起了人们的广泛关注。脉冲神经网络（SNN）是一类基于时空动态的事件驱动的类脑计算模型，广泛应用于神经形态数据的分析。有趣的是，机器学习社区的研究人员可以认为，循环（人工）神经网络（RNN）也有能力提取时空特征，尽管它们不是事件驱动的。因此，“如果我们在神经形态数据上对这两种模型进行基准测试会发生什么”的问题出现了，但仍然不清楚。在这项工作中，我们以视觉数据集为例，系统地研究了SNN和RNN在神经形态数据上的比较。首先，我们从建模和学习的角度确定SNN和RNN（包括香草RNN和LSTM）之间的相似性和差异。为了提高可比性和公平性，我们统一了基于时间反向传播（BPTT）的监督学习算法，利用所有时间步的输出的损失函数，具有堆叠的全连接或卷积层的网络结构，以及训练过程中的超参数。特别地，在给出了RNN中主流的损失函数的基础上，受速率编码方案的启发，对RNN中的损失函数进行了修改，使其接近SNNs中的损失函数。此外，我们调整数据集的时间分辨率来测试模型的鲁棒性和泛化能力。最后，在两种神经形态数据集上进行了一系列的对比实验：DVS转换的（N-MNIST）和DVS捕获的（DVS手势）。
2020-05-02 cs.CV cs.NE eess.IV
Investigating Recurrent Neural Network Memory Structures using Neuro-Evolution
Rochester Institute of Technology（罗切斯特理工学院）
本文提出了一种新的算法，增强记忆模型的进化探索（Evolutionary eXploration of Augmenting Memory Models，简称EMM），它能够使用各种各样的记忆结构，如Delta-RNN，GRU，LSTM，MGU和UGRNN细胞来进化递归神经网络（RNN）。CNOM发展了RNN来预测来自航空和电力行业的大规模真实世界时间序列数据。这些数据集由非常长的时间序列（数千个读数）组成，每个数据集都有大量潜在的相关和相关参数。选择四个不同的参数用于预测，并且单独使用每种存储单元类型、具有前馈节点的每种单元类型以及所有可能的存储单元类型来执行DRM运行。进化的RNN性能是使用重复的k倍交叉验证来测量的，在高性能计算集群上，在12，100个CPU小时内进化了2，420，000个RNN。对进化的RNN的泛化进行了统计检查，提供了有趣的发现，这些发现可以帮助改进RNN存储单元设计，并为未来的神经进化算法开发提供信息。
2019-02-08 cs.AI cs.NE
Learning the Enigma with Recurrent Neural Networks
循环神经网络（RNN）代表了翻译、图像描述和语音识别的最新技术水平。它们还能够从一组训练样本中学习算法任务，如长加法、复制和排序。我们证明了RNN可以学习解密算法-从明文到密文的映射-三个多字母密码（Vigenère，Autokey和Enigma）。最值得注意的是，我们证明了具有3000个单元的长短期记忆（LSTM）单元的RNN可以学习Enigma机器的解密功能。我们认为，我们的模型学习这些密码的有效内部表示1）通过探索单个记忆神经元的激活和2）通过比较三个密码的内存使用。需要说明的是，我们的工作并不是为了“破解”Enigma密码。然而，我们证明了我们的模型可以通过对Vigenère和Autokey密码运行已知明文攻击来执行基本的密码分析。我们的研究结果表明，RNN可以学习黑盒多字母密码的算法表示，这些表示是有用的密码分析。
2017-09-07 cs.NE
Working Memory Connections for LSTM
Department of Engineering “Enzo Ferrari”, University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学恩佐·法拉利工程系）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；Engineering “Enzo Ferrari”, University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学恩佐·法拉利工程系）；Department of Engineering “Enzo Ferrari”（恩佐·法拉利工程系）
具有长短期记忆（LSTM）的递归神经网络利用门控机制来减轻学习长期依赖性时的梯度爆炸和消失。出于这个原因，LSTM和其他门控RNN被广泛采用，成为许多序列建模任务的标准。尽管LSTM内部的存储单元包含了基本信息，但它不允许直接影响门控机制。在这项工作中，我们通过包括来自内部单元状态的信息来提高栅极电位。所提出的修改，名为工作记忆连接，包括在网络门中添加一个可学习的非线性投影的细胞内容。这种修改可以适应经典的LSTM门，而无需对底层任务进行任何假设，在处理较长序列时特别有效。以前在这个方向上的研究工作可以追溯到21世纪初，无法带来比vanilla LSTM一致的改进。作为本文的一部分，我们确定了一个关键问题，与以前的连接，严重限制了他们的有效性，从而防止成功整合的知识来自内部细胞状态。我们通过广泛的实验评估表明，工作记忆连接不断提高LSTM在各种任务上的性能。数值结果表明，单元状态包含有用的信息，是值得包括在栅极结构。
2021-08-31 cs.CL cs.CV cs.LG
Cells in Multidimensional Recurrent Neural Networks
University of Rostock（罗斯托克大学）；Institute of Mathematics（数学研究所）
手写文本在图像上的转录是机器学习中的一个任务，并且解决它的一个解决方案是使用具有连接主义时间分类（CTC）的多维循环神经网络（MDRNN）。RNN可以包含特殊的单元，即长短期记忆（LSTM）单元。它们能够学习长期依赖性，但当维度选择大于1时，它们会变得不稳定。我们为一维LSTM细胞定义了一些有用和必要的性质，并将它们扩展到多维情况。因此，我们介绍了几个新的细胞具有更好的稳定性。我们提出了一种方法来设计细胞使用的理论，线性平移不变系统。将新的细胞与IFN/ENIT和Rimes数据库上的LSTM细胞进行比较，与LSTM细胞相比，我们可以提高识别率。因此，在MDRNN中使用LSTM细胞的每个应用都可以通过用新开发的细胞取代它们来改进。
2016-02-16 cs.AI cs.NE
Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
递归神经网络（RNN）及其最近提出的扩展递归长短期记忆网络（RLSTM）是通过根据外部提供的解析树递归地组合词嵌入来计算句子表示的模型。因此，与循环网络不同的是，这两种模型都明确地利用了句子的层次结构。在本文中，我们证明了RNN仍然遭受消失梯度和长距离依赖问题，并且RLSTM在这些问题上大大改善了RNN。我们提出了一个人工学习任务，使我们能够量化这两个模型的这些问题的严重性。我们进一步表明，梯度的比率（在根结点和焦点叶节点）是高度指示的反向传播在优化树中的相关权重低的成功。因此，本文提供了一个解释，如情感分析任务的RLSTM现有的，优越的结果，并建议，包括层次结构和包括LSTM风格的门控的好处是互补的。
2016-03-01 cs.AI cs.CL cs.NE
