Rotational Unit of Memory
Massachusetts Institute of Technology（麻省理工学院）
酉进化矩阵和联想记忆的概念已经将递归神经网络（RNN）领域提升到各种顺序任务的最先进性能。然而，RNN在处理长期记忆方面的能力仍然有限。为了绕过这个弱点，RNN最成功的应用程序使用外部技术，如注意力机制。在本文中，我们提出了一种新的RNN模型，它统一了最先进的方法：旋转记忆单元（RUM）。RUM的核心是它的旋转操作，它自然是一个酉矩阵，通过克服消失和爆炸梯度问题，为架构提供了学习长期依赖关系的能力。此外，旋转单元还用作关联存储器。我们评估我们的模型在合成记忆，问答和语言建模任务。RUM完全学习了记忆任务，并提高了回忆任务的最新结果。RUM在bAbI问答任务中的表现与具有注意力机制的模型相当。在字符级Penn树库（PTB）任务中，我们还将最先进的结果改进为每字符1.189位（BPC）的损失，这标志着RUM在实际序列数据中的应用。我们构建的通用性，在RNN的核心，建立RUM作为一个有前途的方法，语言建模，语音识别和机器翻译。
2017-10-26 cs.LG cs.NE stat.ML
Recurrent Neural Networks with External Memory for Language Understanding
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research（微软研究院）
循环神经网络（RNN）在语言理解任务中越来越受欢迎。在这个任务中，语义标记器被部署为将语义标签与输入序列中的每个单词相关联。RNN的成功可能归因于其记忆长期依赖性的能力，该长期依赖性将当前时间的语义标签预测与许多时间实例之外的观察相关联。然而，由于梯度消失和爆炸问题，简单RNN的存储容量有限。我们建议使用外部存储器来提高RNN的记忆能力。我们在ATIS数据集上进行了实验，并观察到所提出的模型能够达到最先进的结果。我们将我们提出的模型与替代模型进行比较，并报告分析结果，为未来的研究提供见解。
2015-05-31 cs.AI cs.CL cs.LG
Neural Associative Memory for Dual-Sequence Modeling
DFKI（德国人工智能研究中心）
许多重要的NLP问题都可以作为双序列或序列到序列建模任务提出。构建端到端神经架构的最新进展在解决此类任务方面非常成功。在这项工作中，我们提出了一种新的架构，双序列建模，是基于联想记忆。我们推导出AM-RNN，一种增强通用递归神经网络（RNN）的递归联想记忆（AM）。这种架构被扩展到双AM-RNN，它同时在两个AM上运行。我们的模型在文本蕴涵方面取得了非常有竞争力的结果。定性分析表明，使用双AM-RNN可以有效地桥接源序列和目标序列之间的长程依赖关系。然而，自动编码的初步实验表明，当学习解决序列到序列任务时，系统没有利用这些好处，这表明需要额外的监督或正则化。
2016-06-14 cs.AI cs.CL cs.LG
Block-Sparse Recurrent Neural Networks
Baidu Research（百度研究院）
循环神经网络（RNN）用于语音识别、机器翻译和语言建模等领域的最先进模型。稀疏性是一种减少深度学习模型的计算和内存需求的技术。稀疏RNN更容易部署在设备和高端服务器处理器上。尽管稀疏操作相对于密集操作需要更少的计算和内存，但通过使用稀疏操作观察到的速度提高在不同的硬件平台上低于预期。为了解决这个问题，我们研究了两种不同的方法来诱导RNN中的块稀疏性：修剪层中的权重块和使用组套索正则化来创建零权重块。使用这些技术，我们证明了我们可以创建块稀疏RNN，稀疏度范围从80%到90%，准确性损失很小。这使我们能够将模型尺寸缩小约10倍。此外，我们可以修剪一个更大的密集网络来恢复这种准确性损失，同时保持高块稀疏性并减少整体参数计数。我们的技术适用于高达32x32的各种块大小。与非结构化稀疏性相比，块稀疏RNN消除了与数据存储和不规则内存访问相关的开销，同时提高了硬件效率。
2017-11-08 cs.AI cs.LG stat.ML
Improving the Performance and Learning Stability of Parallelizable RNNs Designed for Ultra-Low Power Applications
University of Cambridge（剑桥大学）
本文提出CMRU和αCMRU，通过累积更新公式恢复梯度流并保持持久记忆，提升收敛稳定性并减少初始化敏感性，在多样本基准中表现优异，尤其在需要离散长距离保留的任务中表现突出。
2026-06-06 cs.AI cs.AR cs.LG
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
Meta FAIR；Inria Paris（巴黎信息与自动化研究所）；ENS-PSL University（巴黎文理研究大学）；University of Tübingen（图宾根大学）
研究针对线性注意力模型长上下文召回不足的问题，提出稀疏增量记忆（SDM）架构，通过稀疏寻址扩展门控线性循环神经网络隐藏状态，在等FLOP和参数数量下提升性能，还能改进常识与推理任务。
2026-07-09 cs.LG
Hybrid Associative Memories
本文提出混合联想记忆层，结合自注意力和RNN，利用各自优势：RNN压缩整个序列，注意力补充难以预测的信息。通过精确控制KV缓存增长，实现高效的序列混合。
2026-03-27 cs.AI cs.LG
Data-driven prediction of a multi-scale Lorenz 96 chaotic system using deep learning methods: Reservoir computing, ANN, and RNN-LSTM
Rice University（莱斯大学）
在本文中，三个深度学习方法预测短期演化和再现多尺度时空Lorenz 96系统的长期统计的性能进行了检查。这些方法是：回声状态网络（一种储备池计算，RC-ESN）、深度前馈人工神经网络（ANN）和具有长短期记忆的递归神经网络（RNN-LSTM）。这个Lorenz 96系统有三层非线性相互作用变量，分别代表慢/大尺度（$X$）、中间（$Y$）和快/小尺度（$Z$）过程。对于培训或测试，只有$X$可用; $Y$和$Z$从未知晓或使用。我们表明，RC-ESN在短期预测方面大大优于ANN和RNN-LSTM，例如，精确地预测了数百个数值求解器的时间步长的混沌轨迹，相当于几个李雅普诺夫时间尺度。RNN-LSTM和ANN也表现出了一些预测技巧; RNN-LSTM优于ANN。此外，即使在失去轨迹之后，RC-ESN和RNN-LSTM预测的数据也具有与真实PDF密切匹配的概率密度函数（PDF），即使在尾部也是如此。然而，使用ANN预测的数据的PDF偏离真实的PDF。本文讨论了数据驱动和数据辅助的复杂非线性动力系统（如天气/气候）的替代建模的含义、注意事项和应用。
2019-12-06 cs.LG math.DS nlin.CD
High Order Recurrent Neural Networks for Acoustic Modelling
消失的长期梯度是训练标准循环神经网络（RNN）的一个主要问题，这可以通过具有存储单元的长短期记忆（LSTM）模型来缓解。然而，与存储单元相关的额外参数意味着LSTM层的参数是具有相同隐藏向量大小的RNN的四倍。本文使用高阶RNN（HORNN）解决消失梯度问题，该高阶RNN具有来自多个先前时间步的额外连接。使用英国英语多体裁广播（MGB 3）数据的语音识别实验表明，所提出的校正线性单元和sigmoid激活函数的HORNN架构比相应的RNN降低了4.2%和6.3%的单词出错率（WER），并给出了与（投影）LSTM相似的WER，同时仅使用20%-50%的递归层参数和计算。
2018-02-22 cs.AI cs.CL eess.AS
State-Regularized Recurrent Neural Networks
NEC Laboratories Europe（NEC欧洲实验室）
循环神经网络是一类广泛使用的神经网络结构。然而，它们有两个缺点。首先，很难理解他们到底学到了什么。第二，它们在需要长期记忆的序列上往往效果不佳，尽管原则上它们具有这种能力。我们的目标是解决这两个缺点与一类经常性的网络，使用细胞应用程序之间的随机状态转换机制。这种机制，我们称之为状态正则化，使RNN在有限的可学习状态集之间转换。我们评估状态正则化RNN（1）用于自动机提取的正则语言;（2）非正则语言，如平衡括号，回文和需要外部内存的复制任务;（3）用于情感分析，视觉对象识别和语言建模的实词序列学习任务。我们证明了状态正则化（a）简化了对RNN状态转换动力学建模的有限状态自动机的提取;（b）迫使RNN更像具有外部存储器的自动机而不像有限状态机;（c）使RNN具有更好的可解释性和可解释性。
2019-05-07 cs.LG stat.ML
Parallelizable memory recurrent units
Montefiore Institute, University of Liege（蒙费尔研究所，利耶日大学）
本文提出了一种结合非线性递归网络持久记忆能力和状态空间模型并行计算能力的新递归神经网络——记忆递归单元（MRUs），通过多稳态机制实现持久记忆，同时避免瞬态动态以提高效率，并展示了其在长时序依赖任务中的有效性。
2026-10-30 cs.LG
Memory-efficient particle filter recurrent neural network for object localization
Novosibirsk Technology Center（新西伯利亚技术中心）；Schlumberger（斯伦贝谢）；AIRI；Skoltech（斯科尔科沃科学技术研究院）
本研究针对噪声环境下的目标定位问题，结合经典粒子滤波思想与GRU RNN架构提出内存高效的mePFRNN模型，其参数量不随环境规模变化，在对称高噪环境中定位精度更优且参数更少。
2023-10-02 cs.AI cs.RO
Accuracy, Memory Efficiency and Generalization: A Comparative Study on Liquid Neural Networks and Recurrent Neural Networks
本文比较液态神经网络与传统循环神经网络及其变体，从精度、内存效率和泛化能力三维度分析，发现LNN在处理噪声数据及OOD泛化上有优势，但RNN仍为序列建模基石，未来需提升LNN可扩展性。
2025-10-08 cs.AI cs.LG cs.SY
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI；Eleuther AI
KVM提出了一种新的块递归注意力机制，能够处理固定大小或增长状态，通过在强基线变压器中加入KVM注意力层，实现了线性复杂度的RNN，并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
本文以教程兼综述形式系统讲解RNN与LSTM，涵盖BPTT、梯度问题及解决思路、LSTM/GRU结构变体，以及双向模型与ELMo。
2023-04-22 cs.CL cs.LG cs.NE
A Flexible Approach to Automated RNN Architecture Generation
Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology（麻省理工学院脑与认知科学系）；Salesforce Research（Salesforce 研究院）
设计神经架构的过程需要专业知识和广泛的试错。虽然自动架构搜索可以简化这些要求，但现有方法生成的递归神经网络（RNN）架构在灵活性和组件方面都受到限制。我们提出了一种用于自动架构搜索的特定领域语言（DSL），它可以产生任意深度和宽度的新型RNN。DSL足够灵活，可以定义标准架构，如门控递归单元和长短期记忆，并允许引入非标准RNN组件，如三角曲线和层归一化。使用两种不同的候选生成技术，随机搜索与排名功能和强化学习，我们探索了新的架构产生的RNN DSL语言建模和机器翻译领域。由此产生的架构并不遵循人类的直觉，但在其目标任务上表现良好，这表明可用的RNN架构的空间远远大于之前的假设。
2017-12-20 cs.CL cs.LG stat.ML
Higher Order Recurrent Neural Networks
York University（约克大学）
在本文中，我们研究了新的神经网络结构，以更好地模拟长期依赖的序列数据。我们建议使用更多的记忆单元来跟踪循环神经网络（RNN）中更多的先前状态，这些状态都通过不同的加权路径作为反馈被递归地馈送到隐藏层。通过扩展RNN中流行的递归结构，我们为模型提供了更好的短期记忆机制来学习序列中的长期依赖性。类似于信号处理中的数字滤波器，我们将这些结构称为高阶RNN（HORNs）。与RNN类似，HORN也可以使用时间反向传播方法来学习。HORN通常适用于各种序列建模任务。在这项工作中，我们已经研究了HORNs的语言建模任务，使用两个流行的数据集，即Penn Treebank（PTB）和英语text8数据集。实验结果表明，提出的HORN在两个数据集上都具有最先进的性能，显着优于常规RNN和流行的LSTM。
2016-04-30 cs.AI cs.NE
Comparison between DeepESNs and gated RNNs on multivariate time-series prediction
University of Pisa（比萨大学）
我们提出了深度回声状态网络（DeepESN）和门控递归神经网络（RNN）在多变量时间序列预测任务上的实验比较。特别是，我们比较了水库和完全训练的RNN，它们能够表示具有多个时间尺度动态特征的信号。在4个复调音乐任务的效率和预测精度方面进行了分析。我们的研究结果表明，DeepESN在预测准确性和效率方面能够优于ESN。然而，在完全训练的方法之间，门控递归单元（GRU）在大多数情况下优于长短期记忆（LSTM）和简单的RNN模型。总体而言，DeepESN比其他RNN方法效率更高，并且在4个任务中的3个任务的预测准确性方面是最佳解决方案。
2019-11-20 cs.LG cs.NE stat.ML
Optimizing Long Short-Term Memory Recurrent Neural Networks Using Ant Colony Optimization to Predict Turbine Engine Vibration
University of North Dakota（北达科他大学）
这篇文章扩展了已经完成的研究，以开发一种能够使用长短期记忆（LSTM）神经元预测飞机发动机振动的递归神经网络（RNN）。LSTM RNN可以为发动机振动的分析计算提供更通用和更强大的预测方法，因为分析计算必须基于特定的经验发动机参数迭代求解，使得这种方法无法在多个发动机中推广。在最初的工作中，提出、评估和比较了多种LSTM RNN架构。这项研究通过使用基于蚁群优化（ACO）的有前途的神经进化方法来开发和增强网络的LSTM细胞结构，从而提高了以前工作中提出的最有效的LSTM网络设计的性能。已经开发了ACO神经进化算法的并行化版本，并将进化的LSTM RNN与以前使用的固定拓扑进行了比较。进化后的网络是在一个大型的飞行数据记录数据库上训练的，该数据库是从一家航空公司获得的，该航空公司的航班遭受了过度振动。结果是在高性能计算（HPC）集群上使用MPI（消息传递接口）获得的，在4天内使用168个核心进化了1000个不同的LSTM单元结构。新进化的LSTM单元显示出1.35%的改进，在预测未来10秒的过度发动机振动时，预测误差从5.51%降低到4.17%，同时将权重从21，170大幅减少到11，810。
2017-10-10 cs.AI cs.NE
State-Regularized Recurrent Neural Networks to Extract Automata and Explain Predictions
Amazon（亚马逊）；NEC Laboratories Europe（NEC欧洲实验室）；University of Stuttgart（斯图加特大学）
循环神经网络是一类广泛使用的神经网络结构。然而，它们有两个缺点。首先，它们通常被视为黑箱模型，因此很难理解它们到底学到了什么，以及它们如何得出特定的预测。第二，它们在需要长期记忆的序列上往往效果不佳，尽管原则上它们具有这种能力。我们的目标是解决这两个缺点与一类经常性的网络，使用细胞应用程序之间的随机状态转换机制。这种机制，我们称之为状态正则化，使RNN在有限的可学习状态集之间转换。我们评估状态正则化RNN（1）用于自动机提取的正则语言;（2）需要外部存储器的非正则语言，如平衡括号和回文;以及（3）用于情感分析，视觉对象识别和文本分类的实词序列学习任务。我们证明了状态正则化（a）简化了显示RNN状态转换动态的有限状态自动机的提取;（b）迫使RNN更像具有外部存储器的自动机而不像有限状态机，这可能导致更多的结构记忆;（c）通过利用时间步长上的概率有限状态转换机制，导致RNN更好的可解释性和可解释性。
2022-12-10 cs.LG
Recurrent Attention Unit
Ocean University of China（中国海洋大学）
递归神经网络（RNN）已成功应用于许多序列学习问题。如手写识别、图像描述、自然语言处理和视频运动分析。经过多年的发展，研究人员改进了RNN的内部结构，并引入了许多变体。其中，门控递归单元（GRU）是最广泛使用的RNN模型之一。然而，GRU缺乏自适应地关注某些区域或位置的能力，从而在学习期间可能导致信息冗余或丢失。在本文中，我们提出了一个RNN模型，称为递归注意力单元（RAU），它无缝集成的注意力机制到GRU内部添加一个注意力门。注意力门可以增强GRU记忆长期记忆的能力，帮助存储单元快速丢弃不重要的内容。RAU能够通过自适应地选择一系列区域或位置来从顺序数据中提取信息，并且在学习期间更加关注所选择的区域。在图像分类、情感分类和语言建模上的大量实验表明，RAU始终优于GRU和其他基线方法。
2018-10-30 cs.CL cs.LG cs.NE
Adaptive-saturated RNN: Remember more with less instability
VNUHCM - US（胡志明市国家大学科学大学）；AISIA Research Lab（AISIA研究实验室）
本文提出 asRNN，通过在朴素 RNN 与正交 RNN 之间动态调节饱和水平，兼顾记忆容量与训练稳定性，并在序列学习基准上表现优异。
2023-04-24 cs.LG
Neuronal correlations shape the scaling behavior of memory capacity and nonlinear computational capability of reservoir recurrent neural networks
Graduate School of Informatics, Kyoto University（京都大学信息科学研究生院）
本文研究储层递归神经网络中神经元相关性如何决定记忆容量次线性标度及非线性计算能力的顺序增长，为可扩展储层计算设计提供理论基础。
2025-08-14 cond-mat.dis-nn cs.LG q-bio.NC
The RNN-ELM Classifier
Imperial College London（帝国理工学院）
在本文中，我们将研究结合随机神经网络、生物启发的神经网络和极限学习机的学习方法，这些方法在实现最先进的分类性能的同时需要更短的训练时间。随机神经网络是神经网络的一种集成和激发的计算模型，其数学结构允许对大型神经元集合进行有效分析。激活函数是从RNN中导出的，并用于极端学习机。我们比较了这种组合与具有各种激活函数的ELM的性能，我们通过PCA降低了输入维度，并将其性能与基于自动编码器的RNN-ELM版本进行了比较。
2016-09-25 cs.LG cs.NE
Pruned RNN-T for fast, memory-efficient ASR training
Xiaomi Corp.（小米公司）
用于语音识别的RNN-Transducer（RNN-T）框架越来越受欢迎，特别是对于部署的实时ASR系统，因为它将高准确性与自然流式识别相结合。RNN-T的缺点之一是它的损失函数计算起来相对较慢，并且会占用大量内存。在词汇量很大的情况下，过多的GPU内存使用可能会使使用RNN-T损失变得不切实际：例如，对于基于中文字符的ASR。我们介绍了一种更快，更节省内存的RNN-T损失计算方法。我们首先使用一个简单的joiner网络获得RNN-T递归的修剪边界，该网络在编码器和解码器嵌入中是线性的;我们可以在不使用太多内存的情况下评估它。然后，我们使用这些修剪边界来评估完整的非线性joiner网络。
2022-06-23 cs.AI cs.LG eess.AS
Do RNN and LSTM have Long Memory?
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
LSTM网络是为了克服学习长期依赖的困难而提出的，并在应用中取得了重大进展。考虑到它的成功和缺点，本文提出了一个问题-RNN和LSTM有长记忆吗？我们通过从统计角度证明RNN和LSTM没有长记忆来部分回答这个问题。进一步引入了长记忆网络的新定义，它要求模型权值以多项式速率衰减。为了验证我们的理论，我们通过最小的修改将RNN和LSTM转换为长记忆网络，并在建模各种数据集的长期依赖性方面展示了它们的优越性。
2020-06-10 cs.LG stat.ML
Echo: Compiler-based GPU Memory Footprint Reduction for LSTM RNN Training
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
长短期记忆递归神经网络（LSTM RNN）是一类用于分析序列数据的流行机器学习模型。然而，他们在现代GPU上的训练受到GPU内存容量的限制。我们对基于LSTM RNN的神经机器翻译（NMT）模型的分析结果表明，注意力和RNN层的特征图形成了内存瓶颈，并且在GPU上训练时，运行时间在不同层之间分布不均匀。基于这两个观察结果，我们建议重新计算特征图，而不是将它们持久地存储在GPU内存中。虽然之前已经考虑过特征图重新计算的想法，但现有的解决方案未能提供令人满意的占用空间减少，因为它们没有解决两个关键挑战。为了使每个特征图重新计算有效和高效，必须仔细估计其对（1）总内存占用和（2）总执行时间的影响。为此，我们提出了一种新的基于编译器的优化方案 *Echo*，它通过一种实用的机制来解决第一个挑战，该机制可以估计整个计算图上重新计算的内存收益，而第二个挑战则是通过利用层细节非保守地估计重新计算开销。*Echo* 自动透明地减少GPU内存占用，无需对训练源代码进行任何更改，并且对LSTM RNN之外的模型有效。我们在配备现代GPU的真实系统上对众多最先进的机器学习工作负载进行了 *Echo* 评估，并观察到占用空间减少率平均为1.89倍，最高为3.13倍。这种减少可以转换成具有更大批量大小的更快训练，GPU能耗的节省（例如，使用一个GPU的训练速度与使用四个GPU的训练速度一样快），和/或在相同…
2019-11-28 cs.AI cs.LG stat.ML
Echoes of the past: A unified perspective on fading memory and echo states
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（数学科学系，物理与数学科学学院，南洋理工大学，新加坡）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
本文统一了RNN中衰减记忆、回声状态等概念，推导其关系并提供新证明，以深化对RNN时序处理能力的理解。
2025-12-12 cs.LG math.DS stat.ML
Memory Caching: RNNs with Growing Memory
Google（谷歌）
本文提出Memory Caching技术，通过缓存RNN的记忆状态以增强其记忆容量，实现与Transformer的平衡性能，在长上下文任务中表现优异。
2026-02-27 cs.AI cs.LG
The RNN Homunculus: Learning to Gate Long-Term Memory
Delft University of Technology（代尔夫特理工大学）；Mekelweg 5, 2628 CD Delft, The Netherlands（荷兰代尔夫特市梅克尔韦格5号（注：此处为地址，非机构，按原文提取））
该研究针对 RNN 学习长程记忆的梯度消失问题，通过添加短依赖样本辅助门控学习，使门控 RNN 性能达到或超过 Mamba、xLSTM 等现代架构。
2026-10-14 cs.AI cs.LG
Recurrent Orthogonal Networks and Long-Memory Tasks
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
尽管RNN已被证明是处理序列数据的强大工具，但寻找允许它们对非常长期的依赖关系进行建模的架构或优化策略仍然是一个活跃的研究领域。在这项工作中，我们仔细分析了最初在（Hochreiter和Schmidhuber，1997）中概述的两个合成数据集，这些数据集用于评估RNN在多个时间步长上存储信息的能力。我们明确地构建了这些问题的RNN解决方案，并使用这些结构，阐明了问题本身以及RNN在其隐藏状态中存储不同类型信息的方式。这些结构进一步解释了最近的方法，指定酉初始化或限制的过渡矩阵的成功。
2017-03-15 cs.AI cs.LG cs.NE
Generate Image Descriptions based on Deep RNN and Memory Cells for Images Features
Stanford University（斯坦福大学）
为图像生成自然语言描述是一项具有挑战性的任务。传统的方法是使用卷积神经网络（CNN）提取图像特征，然后使用循环神经网络（RNN）生成句子。在本文中，我们提出了一个新的模型，增加了存储单元门图像特征的馈送到深层神经网络。直觉使我们的模型能够记住在RNN的每个阶段应该输入多少图像信息。在Flickr8K和Flickr30K数据集上的实验表明，我们的模型比其他最先进的模型具有更高的BLEU分数。
2016-02-05 cs.CL cs.CV cs.LG
A binary-activation, multi-level weight RNN and training algorithm for ADC-/DAC-free and noise-resilient processing-in-memory inference with eNVM
Harvard University（哈佛大学）
我们提出了一种新的算法，用于训练神经网络与二进制激活和多级权重，这使得有效的处理在内存中的电路与嵌入式非易失性存储器（eNVM）。二进制激活降低了DAC和ADC的成本。多级权重利用多级eNVM单元。与现有算法相比，我们的方法不仅适用于前馈网络（例如，完全连接和卷积），而且还为递归网络实现了更高的准确性和抗噪能力。特别是，我们提出了一个基于RNN的关键字检测PIM加速器，详细的硬件噪声模型和电路协同设计技术，并验证了我们的算法的高推理精度和鲁棒性对各种真实的硬件非理想。
2020-10-12 cs.ET cs.LG stat.ML
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Using stigmergy as a computational memory in the design of recurrent neural networks
University of Pisa（比萨大学）
本文设计并实现了一种新的递归神经网络结构。建议的RNN采用了基于stigmergy概念的计算内存。Stigmergic Memory（SM）的基本原理是，SM中的一个量的沉积/移除活动刺激下一个沉积/移除活动。相应地，随后的SM活动倾向于相互加强/削弱，从而在SM活动和输入的时间刺激之间产生连贯的协调。我们发现，在监督分类的问题，SM编码的时间输入在一个紧急的代表性模型，通过协调存款，清除和分类活动。本研究为SM-RNN的推导奠定了基本框架。讨论了SM的形式化本体，并详细介绍了SM-RNN的体系结构。为了了解SM-RNN的计算能力，选择并训练了比较NN，以解决MNIST手写数字识别基准的两个变体：空间（位图行序列）和时间（笔划序列）。
2019-01-09 cs.LG cs.NE stat.ML
Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) Network
本文旨在单一文档中系统解释RNN和LSTM的核心基础，从微分方程正式推导RNN公式并证明其展开技术，通过逻辑论证将RNN转化为Vanilla LSTM，并引入扩展构建出迄今最通用的LSTM变体。
2023-07-31 cs.LG stat.ML
Recurrent Neural Networks in the Eye of Differential Equations
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）；IBM Research（IBM研究院）
为了理解递归神经网络的训练稳定性、时间动态性和结构复杂性之间的基本权衡，我们使用常微分方程的数值方法直接分析了递归神经网络的结构。我们定义了一个一般的家庭的RNN-ODERNs-通过相关的RNN的组成规则，常微分方程的集成方法在离散的时间步长。我们证明了RNN的功能非线性度$n$和时间记忆范围$t$可以映射到相应的Runge-Kutta递归阶段和常微分方程的时间导数阶数。我们证明了流行的RNN架构，如LSTM和URNN，适合不同顺序的$n$ - $t$ -ODERNs。RNN和ODE之间的这种精确对应关系有助于我们建立RNN训练稳定性的充分条件，并有助于使用来自ODE数值积分的各种工具箱来更灵活地自上而下设计新的RNN架构。我们提供这样一个例子：量子通用计算神经网络（QUNN）将训练参数的个数从数据长度和时间记忆长度的多项式减少到时间记忆长度的线性。
2019-04-29 cs.LG quant-ph stat.ML
Pretraining Recurrent Networks without Recurrence
MIT（麻省理工学院）
提出监督记忆训练（SMT）方法，通过将循环神经网络训练转化为一步记忆转换标签上的监督学习，实现时间并行训练和稳定梯度路径，优于反向传播通过时间（BPTT）方法。
2026-07-27 cs.AI cs.LG
Reversible Recurrent Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
循环神经网络（RNN）在处理顺序数据方面提供了最先进的性能，但是训练是存储密集型的，限制了可以训练的RNN模型的灵活性。可逆RNN-隐藏到隐藏转换可以逆转的RNN-提供了一条减少训练内存需求的途径，因为隐藏状态不需要存储，而是可以在反向传播过程中重新计算。我们首先证明了完全可逆的RNN，它不需要存储隐藏的激活，从根本上是有限的，因为它们不能忘记隐藏状态的信息。然后，我们提供了一个存储少量比特的方案，以允许完全逆转遗忘。我们的方法实现了与传统模型相当的性能，同时将激活存储器成本降低了10- 15倍。我们将我们的技术扩展到基于注意力的序列到序列模型，在那里它保持性能，同时在编码器中将激活记忆成本降低5- 10倍，在解码器中降低10- 15倍。
2018-10-25 cs.LG stat.ML
Fast Weight Long Short-Term Memory
Intel AI Lab, Artificial Intelligence Products Group, Intel Corporation（英特尔人工智能实验室，人工智能产品组，英特尔公司）
使用快速权重的联想记忆是一种短期记忆机制，它大大提高了递归神经网络（RNN）的记忆容量和时间尺度。由于最近的研究仅将快速权重引入常规RNN，因此不知道快速权重记忆是否对门控RNN有益。在这项工作中，我们报告了长短期记忆（LSTM）网络和快速权重联想记忆之间的显着协同作用。我们发现，这种组合，在学习联想检索任务，结果更快的训练和更低的测试错误，性能提升最突出的高记忆任务的困难。
2018-04-18 cs.LG cs.NE
Long Short-Term Memory as a Dynamically Computed Element-wise Weighted Sum
University of Washington（华盛顿大学）
LSTM被引入来对抗简单RNN中的消失梯度，通过用门控加法递归连接来增强它们。我们提出了另一种观点来解释LSTM的成功：门本身是多功能的经常性模型，提供更多的代表性的权力比以前认识到的。我们通过将LSTM的门从嵌入式简单RNN中解耦来实现这一点，从而产生一类新的RNN，其中递归计算输入的上下文无关函数的元素加权和。对一系列问题的消融表明，在大多数情况下，门控机制本身的表现与LSTM一样好，这强烈表明门在实践中做的不仅仅是缓解消失的梯度。
2018-05-09 cs.AI cs.CL cs.LG
Memory Capacity of Nonlinear Recurrent Networks: Is it Informative?
该研究针对现有记忆容量指标难以区分线性循环网络性能的问题，通过分析随机非线性循环网络的记忆容量特性，证实了当前线性与非线性场景下的记忆容量定义均无实际应用价值。
2025-09-02 cs.LG stat.ML
Assessing the Memory Ability of Recurrent Neural Networks
Tianjin University（天津大学）；University of Padua（帕多瓦大学）；Beijing Institute of Technology（北京理工大学）
已知循环神经网络（RNN）可以在其隐藏层中记住由序列表达的部分语义信息（例如，一个句子）正在被处理。设计了不同类型的递归单元，使RNN能够在更长的时间跨度内记住信息。然而，不同递归单元的记忆能力在理论上和经验上仍然不清楚，从而限制了更有效和可解释的RNN的发展。为了解决这个问题，本文识别和分析了影响RNN记忆能力的内部和外部因素，并提出了一个语义欧氏空间来表示序列所表达的语义。基于语义欧氏空间，定义了一系列评价指标来衡量不同递归单元的记忆能力，并分析了它们的局限性。这些评估指标也为训练过程中为不同的RNN选择合适的序列长度提供了有用的指导。
2020-02-18 cs.CL cs.LG cs.NE
Long Short-term Memory RNN
本文基于挪威科技大学2020年秋季的一个机器学习项目。该项目的启动是对过去五年来科学界时间序列预测方法的最新发展进行文献审查。本文总结了这项研究的基本方面。此外，在本文中，我们介绍了LSTM单元的架构，并解释了不同的组件如何一起改变单元的内存并预测输出。此外，本文还提供了通过LSTM计算前向迭代的必要公式和基础。然后，本文提到了一些实际的应用和研究，强调LSTM的优点和缺点，在时间序列域和自然语言处理（NLP）域。最后，突出了时间序列预测的替代统计方法，其中概述了ARIMA和指数平滑。然而，由于LSTM可以被视为一个复杂的体系结构，本文假设读者对基本的机器学习方面有一定的了解，例如多层感知器，激活函数，过拟合，反向传播，偏差，过拟合和欠拟合等等。
2021-05-14 cs.AI cs.LG
Eigenvalue Normalized Recurrent Neural Networks for Short Term Memory
University of Kentucky（肯塔基大学）
最近开发了具有正交或酉递归矩阵的循环神经网络（RNN）的几种变体，以减轻消失/爆炸梯度问题并对序列的长期依赖性进行建模。然而，由于递归矩阵的特征值在单位圆上，递归状态保留了所有的输入信息，这可能不必要地消耗模型容量。在本文中，我们通过提出一种架构来解决这个问题，该架构扩展了正交/酉RNN，其状态由具有单位圆盘中特征值的递归矩阵生成。任何输入都会随着时间的推移而消散，并被新的输入所取代，模拟短期记忆。一个梯度下降算法推导出学习这样的递归矩阵。由此产生的方法，称为特征值归一化RNN（ENRNN），在几个实验中显示出高度的竞争力。
2019-11-18 cs.LG stat.ML
Learning Long-Term Dependencies in Irregularly-Sampled Time Series
IST Austria（奥地利科学技术研究所）；TU Wien（维也纳工业大学）；MIT（麻省理工学院）
具有连续时间隐藏状态的递归神经网络（RNN）非常适合对不规则采样的时间序列进行建模。然而，当输入数据具有长期依赖性时，这些模型面临困难。我们证明，与标准RNN类似，这个问题的根本原因是训练过程中梯度的消失或爆炸。这种现象由隐藏状态的常微分方程（ODE）表示来表示，而不管ODE求解器的选择。我们通过设计一种基于长短期记忆（LSTM）的新算法来提供解决方案，该算法将其记忆与其时间连续状态分离。通过这种方式，我们在RNN中编码了一个连续时间动态流，允许它响应于在任意时滞到达的输入，同时确保通过内存路径的恒定错误传播。我们称这些RNN模型为ODE-LSTM。我们的实验表明，ODE-LSTM在具有长期依赖性的非均匀采样数据上优于基于RNN的高级同行。所有代码和数据都可以在https://github.com/mlech26l/ode-lstms上找到。
2020-12-04 cs.LG stat.ML
Reinforcement Learning with Fast and Forgetful Memory
University of Cambridge（剑桥大学）；Toshiba Europe Ltd.（东芝欧洲有限公司）
针对强化学习中借用监督学习记忆模型存在的训练效率差异问题，提出专门适配RL的快速遗忘记忆模型，可直接替代RNN，在多基准中获更高奖励且训练速度快两个数量级。
2023-10-06 cs.AI cs.LG
A Clockwork RNN
IDSIA（达莱·莫莱人工智能研究所）；USI（瑞士意大利语区大学）；SUPSI（瑞士意大利语区应用科学与艺术大学）
序列预测和分类是机器学习中普遍存在且具有挑战性的问题，其可能需要识别时间上遥远的输入之间的复杂依赖性。从理论上讲，递归神经网络（RNN）有能力通过其递归（反馈）连接实现的短期记忆来处理这些时间依赖性。然而，在实践中，当需要长期记忆时，它们很难成功地进行训练。本文介绍了对标准RNN架构的一种简单而强大的修改，即Clockwork RNN（CW-RNN），其中隐藏层被划分为单独的模块，每个模块以自己的时间粒度处理输入，仅以规定的时钟速率进行计算。CW-RNN并没有使标准RNN模型变得更加复杂，而是减少了RNN参数的数量，显著提高了测试任务的性能，并加快了网络评估的速度。该网络在涉及两个任务的初步实验中进行了演示：音频信号生成和TIMIT口语词分类，其性能优于RNN和LSTM网络。
2014-02-14 cs.LG cs.NE
Partially Non-Recurrent Controllers for Memory-Augmented Neural Networks
DeNA Co., Ltd.（DeNA株式会社）；The University of Tokyo（东京大学）
记忆增强神经网络（MANN）是一类配备有外部存储器的神经网络，并且据报道对于需要大的长期记忆及其选择性使用的任务是有效的。MANN的核心模块被称为控制器，其通常被实现为递归神经网络（RNN）（例如，LSTM），以便在控制其他模块时使用上下文信息。然而，这种基于RNN的控制器通常允许MANN通过使用控制器的（小的）内部存储器来直接解决给定的任务，并且阻止MANN最好地利用外部存储器，从而导致次优训练模型。为了解决这个问题，我们提出了一种新型的基于RNN的控制器，该控制器部分非递归，避免了直接使用其内部存储器来解决任务，同时保持了使用上下文信息控制其他模块的能力。我们使用神经图灵机和微分神经计算机的玩具和bAbI任务的实证实验表明，所提出的控制器比标准的基于RNN的控制器提供了更好的结果。
2018-12-30 cs.LG cs.NE
Highway Long Short-Term Memory RNNs for Distant Speech Recognition
University of Washington（华盛顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Microsoft Research（微软研究院）；Amazon（亚马逊）；Mitsubishi Electric（三菱电机）；MERL（三菱电机研究实验室）
在本文中，我们扩展了深长短期记忆（DLSTM）循环神经网络之间的门控直接连接相邻层的存储单元。这些直接链接，称为高速公路连接，使不同层之间的信息流畅通无阻，从而缓解了构建更深LSTM时的梯度消失问题。我们进一步介绍了延迟控制的双向LSTM（BLSTM），它可以利用整个历史，同时保持控制下的延迟。提出了有效的算法来训练这些新的网络使用帧和序列判别准则。AMI远程语音识别（DSR）任务的实验表明，我们可以训练更深的LSTM，并取得更好的改善从序列训练与公路LSTM（HLSTM）。我们的新模型在AMI（SDM）开发和评估集上获得了$43.9/47.7\%$ WER，性能优于所有以前的工作。它分别以$15.7\%$和$5.3\%$的相对改进击败了强大的DNN和DLSTM基线。
2016-01-11 cs.AI cs.CL cs.LG
Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack
The Pennsylvania State University（宾夕法尼亚州立大学）；Rochester Institute of Technology（罗切斯特理工学院）
递归神经网络（RNN）是一种广泛用于序列建模、生成和预测的深度架构。尽管在诸如机器翻译和话音识别等应用中取得了成功，但这些有状态模型具有几个关键缺点。具体来说，RNN在很长的序列上推广能力很差，这限制了它们对许多重要的时间处理和时间序列预测问题的适用性。例如，RNN在识别复杂的上下文无关语言（CFL）方面很困难，在训练中从未达到100%的准确率。解决这些缺点的一种方法是将RNN与外部可微分内存结构（如堆栈）耦合。然而，在以前的工作中，可微记忆既没有被广泛研究的CFL，也没有测试的序列比那些在训练中看到的更长。研究它们的少数努力表明，连续可微记忆结构对复杂CFL的泛化能力很差，使得RNN的可解释性较差。在本文中，我们使用重要的架构和状态更新机制来改进内存增强的RNN，以确保模型能够正确平衡其潜在状态与外部内存的使用。我们改进的RNN模型表现出更好的泛化性能，并能够分类复杂的分层上下文无关文法（CFG）产生的长字符串。我们在CGG（包括Dyck语言）以及Penn Treebank语言建模任务上评估了我们的模型，并在这些基准测试中实现了稳定，强大的性能。此外，我们表明，只有我们的记忆增强网络能够保持记忆的持续时间更长的字符串的长度为160。
2020-04-22 cs.CL cs.LG
Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks
Institute for Informatics, LMU Munich（慕尼黑大学信息学研究所）
所有不同类型的循环神经网络（RNN）的共同点是对数据点之间的时间关系进行建模。当后续数据点之间没有直接关系时（例如，当数据点随机生成时），我们证明了RNN仍然能够通过使用标准的反向传播来记住一些数据点。然而，我们还表明，对于经典的RNN，LSTM和GRU网络，可以以这种方式复制的递归调用之间的数据点距离是非常有限的（与数据点之间的松散连接相比），并且受到RNN类型和大小的各种约束。这意味着相关数据点之间的距离存在一个硬限制（远低于信息论的限制），在此范围内，RNN仍然能够识别所述关系。
2022-12-20 cs.CV cs.LG
Lattice Rescoring Strategies for Long Short Term Memory Language Models in Speech Recognition
Google Inc.（谷歌公司）
递归神经网络（RNN）语言模型（LM）和长短期记忆（LSTM）LM（RNN LM的变体）已被证明在语音识别任务上优于传统的N-gram LM。然而，这些模型在计算上比用于解码的N-gram LM更昂贵，因此，集成到语音识别器中具有挑战性。最近的研究提出了使用格rescoring算法，使用RNNLM和LSTMLMs作为一种有效的策略，将这些模型集成到语音识别系统。在本文中，我们评估了现有的格重评分算法以及YouTube语音识别任务的新变体。使用LSTMLM的格重新评分相对于使用N-gram LM获得的WER将该任务的字错误率（WER）降低了8%。
2017-11-15 cs.CL cs.LG stat.ML
Recurrent Neural Networks for Long and Short-Term Sequential Recommendation
CAIL；Université de Lille（里尔大学）
推荐系统的目标可以概括为在短期或长期时间范围内对用户偏好进行建模。以往的大量研究通过降维技术应用于历史用户-项目交互来研究长期推荐。最近引入的基于会话的推荐设置强调了建模短期用户偏好的重要性。在这项任务中，循环神经网络（RNN）已被证明在短时间内成功捕捉用户交互的细微差别。在本文中，我们评估了基于RNN的短期和长期推荐任务模型。我们的实验结果表明，RNN能够预测即时和远程用户交互。我们还发现性能最好的配置是具有层归一化和绑定项嵌入的堆叠RNN。
2018-07-23 cs.IR cs.LG stat.ML
