Never Reset Again: A Mathematical Framework for Continual Inference in Recurrent Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
针对循环神经网络持续推理中状态饱和需重置的问题，提出自适应损失函数，结合交叉熵与KL散度动态调节梯度，消除推理重置需求并在长序列持续任务中超越传统方法。
2024-12-20 cs.AI cs.LG
On Computability, Learnability and Extractability of Finite State Machines from Recurrent Neural Networks
Université de Nantes（南特大学）
这项工作旨在阐明有限状态机（FSM）和循环神经网络（RNN）之间的联系。在这篇硕士论文中，研究的连接是三方面的：从循环神经网络中提取有限状态机，可学习性方面和计算连接。对于前者，探讨了长期存在的RNN隐藏状态空间在训练识别正则语言时的聚类假设，并通过深度学习泛化理论的最新进展提供了对该假设的新见解。至于可学习性，主动学习框架的扩展，更好地适合于用有限状态机逼近RNN的问题，提出了更好地形式化的问题的RNN逼近有限状态机的目的。在这个框架中的两个可能的pronons进行了理论分析。在可计算性方面，给出了训练为语言模型的RNN与不同类型的加权有限状态机之间的距离和等价性问题的新的计算结果。
2020-09-10 cs.AI cs.FL cs.LG
Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations
MILA, Université de Montréal（蒙特利尔大学 MILA）；École Polytechnique de Montréal（蒙特利尔理工学院）
我们提出了zoneout，一种正则化RNN的新方法。在每一个时间步，zoneout随机数强制一些隐藏的单位保持它们以前的值。与dropout一样，zoneout使用随机噪声来训练伪集成，从而提高泛化能力。但是通过保留而不是丢弃隐藏单元，梯度信息和状态信息更容易在时间上传播，就像在前馈随机深度网络中一样。我们对各种RNN正则化器进行了实证调查，发现zoneout在任务中提供了显着的性能改进。我们在Penn Treebank和Text8数据集上使用相对简单的模型在字符和单词级别的语言建模中取得了有竞争力的结果，并结合经常性的批量归一化在排列顺序MNIST上产生了最先进的结果。
2017-09-22 cs.CL cs.LG cs.NE
Breaking the Expressive Bottlenecks of Graph Neural Networks
Dalian University of Technology（大连理工大学）
最近，Weisfeiler-Lehman（WL）图同构测试被用来衡量图神经网络（GNNs）的表达能力，表明邻域聚合GNNs在区分图结构方面最多与1-WL测试一样强大。还提出了类似于$k$测试（$k>1$）的改进。然而，这些GNN中的聚合器远不是WL测试所要求的内射，并且具有较弱的区分能力，使其成为表达瓶颈。在本文中，我们通过探索强大的聚合器来提高表达能力。我们用相应的聚合系数矩阵重新定义了聚合，然后系统地分析了构建更强大的聚合器甚至内射聚合器对聚合系数矩阵的要求。它也可以被看作是保持隐藏特征的秩的策略，并意味着基本聚合器对应于低秩变换的特殊情况。我们还展示了在聚合之前应用非线性单元的必要性，这与大多数基于聚合的GNN不同。基于我们的理论分析，我们开发了两个GNN层，ExpandingConv和CombConv。实验结果表明，我们的模型显着提高性能，特别是对于大型和密集连接的图形。
2020-12-14 cs.AI cs.LG
High Order Recurrent Neural Networks for Acoustic Modelling
消失的长期梯度是训练标准循环神经网络（RNN）的一个主要问题，这可以通过具有存储单元的长短期记忆（LSTM）模型来缓解。然而，与存储单元相关的额外参数意味着LSTM层的参数是具有相同隐藏向量大小的RNN的四倍。本文使用高阶RNN（HORNN）解决消失梯度问题，该高阶RNN具有来自多个先前时间步的额外连接。使用英国英语多体裁广播（MGB 3）数据的语音识别实验表明，所提出的校正线性单元和sigmoid激活函数的HORNN架构比相应的RNN降低了4.2%和6.3%的单词出错率（WER），并给出了与（投影）LSTM相似的WER，同时仅使用20%-50%的递归层参数和计算。
2018-02-22 cs.AI cs.CL eess.AS
FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network
Indian Institute of Technology Delhi（德里印度理工学院）；University of California Berkeley（加州大学伯克利分校）；Microsoft Research India（微软印度研究院）
本文开发了FastRNN和FastGRNN算法，以解决RNN训练不准确和预测效率低下的双重局限性。以前的方法已经提高了精度，但代价是预测成本，使得它们对于资源受限和实时应用不可行。酉RNN通过限制状态转移矩阵奇异值的范围，在一定程度上提高了准确性，但也增加了模型的大小，因为它们需要更多的隐藏单元来弥补表达能力的损失。门控RNN通过添加额外的参数获得了最先进的精度，从而产生了更大的模型。FastRNN通过添加一个残差连接来解决这些限制，该残差连接不明确限制奇异值的范围，并且只有两个额外的标量参数。然后，FastGRNN通过重用RNN矩阵将剩余连接扩展到门，以匹配最先进的门控RNN精度，但模型较小2- 4倍。强制FastGRNN的矩阵为低秩、稀疏和量化，导致精确的模型比领先的门控和酉RNN小35倍。这使得FastGRNN能够准确地识别具有1 KB模型的“Hey Cortana”唤醒词，并部署在资源严重受限的物联网微控制器上，这些微控制器太小，无法存储其他RNN模型。FastGRNN的代码可以在https://github.com/Microsoft/EdgeML/上找到。
2019-01-08 cs.AI cs.LG cs.NE
LISA: Explaining Recurrent Neural Network Judgments via Layer-wIse Semantic Accumulation and Example to Pattern Transformation
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
递归神经网络（RNN）是一种时间网络，本质上是累积的，在各种自然语言处理任务中已经显示出有希望的结果。尽管他们取得了成功，但要了解他们隐藏的行为仍然是一个挑战。在这项工作中，我们通过一种名为分层语义累积（LISA）的技术来分析和解释RNN的累积性质，用于解释决策和检测最可能的（即，显著性）模式，网络在决策时依赖于这些模式。我们演示了（1）LISA：“RNN如何在给定文本示例和预期响应的顺序处理过程中积累或构建语义”（2）Example2pattern：“根据决策中的网络，数据中每个类别的显着性模式看起来如何”。我们分析了RNN对不同输入的敏感性，以检查预测分数的增加或减少，并进一步提取网络学习的显着性模式。我们使用两个关系分类数据集：SemEval 10 Task 8和TAC KBP Slot Filling来解释通过LISA和example2模式进行的RNN预测。
2018-08-05 cs.AI cs.CL cs.IR
Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training
Boston University（波士顿大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Johns Hopkins University（约翰霍普金斯大学）；University of California San Diego（加州大学圣地亚哥分校）
MM-PHATE通过多维分析RNN隐藏状态演变，揭示训练过程中表示几何变化，提供直观方法理解RNN架构与性能关系。
2026-03-24 cs.LG
Balancing Sparse RNNs with Hyperparameterization Benefiting Meta-Learning
Data Science（数据科学）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出通过超参数化控制RNN权重稀疏度，并引入隐藏比例指标平衡未知量分布，从而提升性能并支持基于数据集特征的元学习与模型优化。
2025-09-18 cs.AI cs.LG
Mechanistic Interpretability of RNNs emulating Hidden Markov Models
Institute of Neuroinformatics, University of Zurich & ETH Zurich（神经信息学研究所，苏黎世大学及苏黎世联邦理工学院）
该研究证明循环神经网络可复现隐马尔可夫模型的发射统计特性，逆向工程揭示其通过噪声维持的轨道动力学、kick神经元触发转移及随机共振机制实现概率计算，且该机制可模块化复用泛化到多种HMM架构。
2025-10-29 cs.LG
Mutual Information Scaling and Expressive Power of Sequence Models
Massachusetts Institute of Technology（麻省理工学院）
序列模型将概率分配给可变长度序列，例如自然语言文本。序列模型捕捉时间相关性的能力可以通过相关性和互信息的时间尺度来表征。在本文中，我们研究了循环神经网络（RNN）的互信息，包括长短期记忆和自我注意网络，如Transformers。通过对线性RNN的理论研究和对非线性RNN的实证研究相结合，我们发现它们的互信息随时间距离呈指数衰减。另一方面，Transformers可以更有效地捕获长距离互信息，使得它们在建模具有慢幂律互信息的序列（例如自然语言和股票价格）时是优选的。我们讨论这些结果与统计力学的联系。我们还指出了许多自然语言数据集的非均匀性问题。我们希望这项工作提供了一个新的视角来理解序列模型的表达能力，并为改进它们的体系结构提供新的思路。
2019-05-10 cond-mat.dis-nn cs.IT cs.LG
Tensor Switching Networks
Harvard University（哈佛大学）
我们提出了一种新的神经网络算法，张量切换（TS）网络，它将整流线性单元（ReLU）的非线性推广到张量值隐藏单元。TS网络将其整个输入向量复制到扩展表示中的不同位置，位置由其隐藏的单元活动确定。通过这种方式，即使是来自TS表示的简单线性读出也可以实现高度表达的深度网络类函数。因此，TS网络通过构造避免了消失梯度问题，代价是更大的表示尺寸。我们开发了几种方法来训练TS网络，包括无限宽和无限深TS网络的等效内核，一遍线性学习算法，和两个反向传播启发的表示学习算法。我们的实验结果表明，TS网络确实比标准ReLU网络更具表达力，并且始终学习得更快。
2016-10-31 cs.LG cs.NE stat.ML
Why Are Linear RNNs More Parallelizable?
本文通过将RNN类型与标准复杂度类紧密关联，揭示了线性RNN（LRNN）因可视为对数深度算术电路而易于并行化，而非线性RNN因能解决L-完全问题而存在并行化障碍。
2026-06-01 cs.CC cs.CL cs.FL
Learning and Generalization in RNNs
Princeton University（普林斯顿大学）；Microsoft Research India（微软印度研究院）
简单的递归神经网络（RNN）及其更高级的表亲LSTM等在序列建模方面非常成功。然而，他们的理论理解是缺乏的，并没有跟上前馈网络的进展，在高度过参数化的一个隐藏层网络的特殊情况下，已经出现了一个合理的完整的理解。在本文中，我们通过证明RNN可以学习序列的函数来弥补这种情况。在以前的工作，只能处理的功能的序列，是在序列中的各个令牌的功能的总和，我们允许一般的功能。从概念和技术上讲，我们引入了新的想法，使我们能够在证明中从RNN的隐藏状态中提取信息-解决了以前工作中的一个关键弱点。我们举例说明我们的一些正则语言识别问题的结果。
2021-05-31 cs.LG
Integrating Recurrent Neural Networks with Data Assimilation for Scalable Data-Driven State Estimation
Cooperative Institute for Research in Environmental Sciences（环境科学合作研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Physical Sciences Laboratory（物理科学实验室）；National Oceanic and Atmospheric Administration（美国国家海洋和大气管理局）；University of California San Diego（加州大学圣地亚哥分校）；Scripps Institution of Oceanography（斯克里普斯海洋研究所）
数据同化（DA）与机器学习相结合，以执行完全数据驱动的在线状态估计。为了实现这一目标，循环神经网络（RNN）实现代理模型，以取代数值天气预报（NWP）中的DA循环的关键组件，包括传统的数值预报模型，预报误差协方差矩阵，切线线性和伴随模型。它显示了如何使用DA方法初始化这些RNN，以直接更新隐藏/水库状态与目标系统的观察。结果表明，这些技术可以应用于估计的短期预测的重复初始化的系统的状态，即使在没有一个传统的数值预报模型。此外，还演示了这些集成的RNN-DA方法如何通过应用域本地化和并行化扩展到更高的维度，为NWP的实际应用提供了一条路径。
2021-09-25 cs.AI cs.LG math.DS
Linear-Time Sequence Classification using Restricted Boltzmann Machines
The Australian E-Health Research Centre, CSIRO（澳大利亚电子健康研究中心（联邦科学与工业研究组织））；City University London（伦敦城市大学）
序列数据的分类是动态贝叶斯模型和递归神经网络（RNN）感兴趣的主题。虽然前者可以显式地建模类变量之间的时间依赖关系，后者具有学习表示的能力。已经进行了几次尝试，通过结合这两种方法或增加RNN中隐藏单元的处理能力来提高性能。这通常会导致具有大量学习参数的复杂模型。在本文中，提出了一个紧凑的模型，它提供了表示学习和类变量的时间推断滚动限制玻尔兹曼机（RBM）和类变量随着时间的推移。我们通过优化条件分布而不是联合分布来解决RBM这种变体中的棘手问题。在旋律建模和光学字符识别上的实验结果表明，该模型的性能优于现有技术;在光学字符识别、词性标注和文本组块识别上的实验结果表明，该模型与具有复杂记忆门的递归神经网络相比，所需参数少得多。
2018-03-08 cs.LG stat.ML
On the Relationship Between RNN Hidden State Vectors and Semantic Ground Truth
Silicon Austria Labs（奥地利硅实验室）；Graz University of Technology（格拉茨工业大学）
本文研究了RNN隐藏状态向量形成语义相似聚类的假设，通过在正则语言识别任务中结合真实自动机，利用可分性分析和无监督聚类方法验证了该假设在多数情况下有效。
2023-06-29 cs.LG
Reversible Recurrent Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
循环神经网络（RNN）在处理顺序数据方面提供了最先进的性能，但是训练是存储密集型的，限制了可以训练的RNN模型的灵活性。可逆RNN-隐藏到隐藏转换可以逆转的RNN-提供了一条减少训练内存需求的途径，因为隐藏状态不需要存储，而是可以在反向传播过程中重新计算。我们首先证明了完全可逆的RNN，它不需要存储隐藏的激活，从根本上是有限的，因为它们不能忘记隐藏状态的信息。然后，我们提供了一个存储少量比特的方案，以允许完全逆转遗忘。我们的方法实现了与传统模型相当的性能，同时将激活存储器成本降低了10- 15倍。我们将我们的技术扩展到基于注意力的序列到序列模型，在那里它保持性能，同时在编码器中将激活记忆成本降低5- 10倍，在解码器中降低10- 15倍。
2018-10-25 cs.LG stat.ML
Message Propagation Through Time: An Algorithm for Sequence Dependency Retention in Time Series Modeling
University of Minnesota（明尼苏达大学）
针对传统IID小批量训练RNN割裂时间依赖的问题，本文提出MPTT算法，通过双记忆模块和三种信息过滤策略保留跨样本长依赖，并在四个气候数据集上优于七种方法。
2023-09-28 cs.LG
Fourier-RNNs for Modelling Noisy Physics Data
UK Atomic Energy Authority（英国原子能管理局）
时间序列预测中采用的经典序列模型依赖于通过隐藏状态的方式学习从过去到未来实例的映射。隐藏状态隐藏历史信息并编码所需的时间依赖性。然而，大多数现有的顺序模型在有限维欧几里得空间内操作，当用于对物理相关数据进行建模时，这些空间提供有限的功能。另外，最近在傅立叶空间内进行的神经算子学习的工作已经显示了参数化偏微分方程（PDE）的有效策略。在这项工作中，我们提出了一种新的顺序模型，通过将传统的RNN架构与傅立叶神经运算符（FNO）的架构相结合来处理物理相关数据。Fourier-RNN允许学习从输入到输出以及到与时间数据相关联的傅立叶空间内的隐藏状态的映射。虽然在处理PDE数据时，Fourier-RNN的性能与FNO相同，但在对噪声、非马尔可夫数据建模时，它的性能优于FNO和传统RNN。
2023-02-13 cs.LG
On the Role of Depth in the Expressivity of RNNs
Mila & DIRO（Mila与DIRO）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR AI主席）
研究探讨了RNNs深度如何通过提升记忆容量和输入转换复杂性增强表达能力，分析了2RNNs的多项式变换特性，并验证了乘法交互无法被逐层非线性替代。
2026-04-02 cs.LG
How to Construct Deep Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Aalto University School of Science（阿尔托大学理学院）
在本文中，我们探索了将递归神经网络（RNN）扩展为\textit{deep} RNN的不同方法。首先，我们认为RNN中的深度概念并不像前馈神经网络中那样清晰。然而，通过仔细分析和理解RNN的架构，我们发现RNN的三个点可以更深入：（1）输入到隐藏函数，（2）隐藏到隐藏转换和（3）隐藏到输出函数。基于这一观察，我们提出了两种新的深度RNN架构，它们与早期堆叠多个递归层以构建深度RNN的尝试正交（Schmidhuber，1992; El Hihi和Bengio，1996）。我们使用基于神经运算符的新框架对这些深度RNN进行了另一种解释。在复调音乐预测和语言建模的任务上，对所提出的深度RNN进行了经验评估。实验结果支持了我们的观点，即所提出的深度RNN受益于深度，并且优于传统的浅RNN。
2014-04-24 cs.LG cs.NE stat.ML
RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Princeton University（普林斯顿大学）
该研究从理论层面揭示RNN与Transformer在算法问题表征上的核心差距源于上下文检索能力不足，验证了引入RAG或单层Transformer层可让RNN借助CoT解决所有多项式时间问题，从而弥合表征差距。
2024-12-06 cs.CL cs.LG stat.ML
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Latent ODEs for Irregularly-Sampled Time Series
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
具有非均匀间隔的时间序列出现在许多应用中，并且难以使用标准递归神经网络（RNN）进行建模。我们将RNN推广为具有由常微分方程（ODE）定义的连续时间隐藏动态，我们称之为ODE-RNN。此外，我们使用ODE-RNNs来取代最近提出的Latent ODE模型的识别网络。ODE-RNN和潜在ODE都可以自然地处理观测之间的任意时间间隔，并且可以使用泊松过程显式地对观测时间的概率进行建模。我们通过实验证明，这些基于ODE的模型在不规则采样数据上的性能优于基于RNN的模型。
2019-07-08 cs.LG stat.ML
Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training
Pennsylvania State University（宾夕法尼亚州立大学）
递归神经网络（RNN），更具体地说是其长短期记忆（LSTM）变体，已被广泛用作深度学习工具，用于处理文本和语音中基于序列的学习任务。这种LSTM应用程序的训练是计算密集型的，因为每个时间步重复的隐藏状态计算的递归性质。虽然深度神经网络中的稀疏性被广泛认为是减少训练和推理阶段计算时间的机会，但在LSTM RNN中使用非ReLU激活使得与神经元激活和梯度值相关的动态稀疏性的机会有限或不存在。在这项工作中，我们确定辍学引起的稀疏LSTM作为一个合适的模式，减少计算。Dropout是一种广泛使用的正则化机制，它在每次训练迭代期间随机丢弃计算的神经元值。我们建议结构辍学模式，通过丢弃同一组物理神经元内的一批，导致列（行）级隐藏状态稀疏，这是很好的服从计算减少在运行时的通用SIMD硬件以及脉动阵列。我们对三个代表性的NLP任务进行了实验：PTB数据集上的语言建模，基于OpenNMT的机器翻译，使用IWALDE-EN和En-Vi数据集，以及使用CoNLL-2003共享任务的命名实体识别序列标记。我们证明了我们提出的方法可以用于将基于丢弃的计算减少转化为减少的训练时间，改进范围从1.23倍到1.64倍，而不会牺牲目标度量。
2021-06-22 cs.CL cs.LG cs.PF
NeuroView-RNN: It's About Time
Rice University（莱斯大学）
递归神经网络（RNN）是处理时间序列或视频等序列数据的重要工具。可解释性被定义为被人理解的能力，与可解释性不同，可解释性是在数学公式中被解释的能力。RNN的一个关键可解释性问题是，不清楚每个时间步的每个隐藏状态如何以定量的方式对决策过程做出贡献。我们提出NeuroView-RNN作为一系列新的RNN架构，解释了如何将所有时间步长用于决策过程。该家族的每个成员都是通过将隐藏步骤串联到全局线性分类器中而从标准RNN架构中导出的。全局线性分类器以所有的隐状态作为输入，因此分类器的权值具有到隐状态的线性映射。因此，根据权重，NeuroView-RNN可以量化每个时间步对特定决策的重要性。作为奖励，NeuroView-RNN在许多情况下也提供了比RNN及其变体更高的准确性。我们通过评估大量不同的时间序列数据集来展示NeuroView-RNN的好处。
2022-02-23 cs.LG
Batch Normalized Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；University of Southern California（南加州大学）
循环神经网络（RNN）是一种强大的序列数据模型，具有学习长期依赖关系的潜力。然而，它们在训练时计算开销大并且难以并行化。最近的研究表明，规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是，使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中，我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明，当应用于输入到隐藏转换时，批量归一化可以导致训练标准的更快收敛，但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之，将批量归一化应用于RNN比将其应用于前馈网络更具挑战性，但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence
Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电子与电气工程系）；Imperial College London（帝国理工学院）
递归神经网络（RNN）是序列建模中最成功的机器学习模型之一，但在处理大型多维数据时，往往会遇到参数数量呈指数增长的问题。为此，我们开发了一个多线性图过滤器框架，用于近似RNN中隐藏状态的建模，该框架嵌入在张量网络架构中，以提高建模能力并降低参数复杂性，从而产生一种新的递归图张量网络（RGTN）。通过几个多路序列建模任务验证了所提出的框架，并以传统的RNN为基准。凭借图过滤器的域感知信息处理和张量网络的表达能力，我们表明，建议的RGTN不仅能够超越标准RNN，而且还减轻了与传统RNN相关的诅咒，在性能和复杂性方面表现出优越的性能。
2021-05-11 cs.LG stat.ML
$\texttt{lrnnx}$: A library for Linear RNNs
Carnegie Mellon University（卡内基梅隆大学）；BITS Pilani（比特学院）
lrnnx是一个统一的软件库，旨在提高线性递归神经网络的可访问性、可重复性和可扩展性，通过提供统一接口和多层次控制实现多种现代LRNN架构。
2026-02-09 cs.AI cs.LG
Leakage and Second-Order Dynamics Improve Hippocampal RNN Replay
Department of Electrical；Computer Engineering, Rice University, USA；Mila - Quebec AI Institute \& Universit\' e de Montr\' e al, Canada
本研究通过引入隐藏状态泄露和动量机制，改进噪声路径积分RNN的回放性能，提升探索性并减少回放速度。
2026-02-20 cs.AI cs.LG q-bio.NC
Gated Recurrent Neural Tensor Network
Universitas Indonesia（印度尼西亚大学）；Nara Institute of Science and Technology（奈良先端科学技术大学）
递归神经网络（RNN）是一种强大的时序数据建模方案，需要捕获数据集的长期依赖关系，并使用强大的模型将其表示在隐藏层中，以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模，门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层（即，张量积）帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中，我们提出了一种新的RNN架构，将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中，我们提出的模型通过使用门控单元建模来学习长期依赖关系，并使用三维数组（张量）权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆（LSTM）RNN和门控递归单元（GRU）RNN，并将它们与其公式中的张量积结合起来。我们提出的RNN，被称为长短期记忆递归神经张量网络（LSTMRNTN）和门控递归单位递归神经张量网络（GRURNTN），是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验，结果表明，与我们的基线模型相比，我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Connecting Weighted Automata and Recurrent Neural Networks through Spectral Learning
Mila；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
本文揭示了加权有限自动机（WFAs）和二阶循环神经网络（2-RNN）之间的一个基本联系：在离散符号序列的情况下，WFAs和具有线性激活函数的2-RNN在表达式上是等价的。受此结果的启发，我们建立在最近扩展的频谱学习算法向量值WFAs和提出的第一个可证明的学习算法线性2-RNN定义在连续输入向量的序列。该算法依赖于估计所谓的汉克尔张量的低秩子块，从中可以证明恢复线性2-RNN的参数。所提出的方法的性能进行了评估，在模拟研究。
2019-04-08 cs.FL cs.LG stat.ML
RNNs Evolving on an Equilibrium Manifold: A Panacea for Vanishing and Exploding Gradients?
Boston University（波士顿大学）；MERL（三菱电机研究实验室）
递归神经网络（RNN）特别适合于对序列数据中的长期依赖关系进行建模，但众所周知，它很难训练，因为在时间上反向传播的误差要么消失，要么以指数速度爆炸。虽然一些作品试图通过门控经常性单位，精心选择的参数约束和跳跃连接来减轻这种影响，但我们开发了一种新的视角，旨在发展常微分方程（ODE）平衡流形上的隐藏状态。我们提出了一个新的RNN，即{ \em平衡递归神经网络}（ERNN），克服了梯度衰减或爆炸效应，并导致在平衡流形上演化的递归模型。我们表明，平衡点是稳定的，导致快速收敛的离散常微分方程的不动点。此外，ERNN考虑了长期依赖性，并且可以有效地回忆起遥远过去的数据的信息方面。我们表明，ERNN在许多具有挑战性的数据集上实现了最先进的准确性，具有3- 10倍的加速比，1.5- 3倍的模型大小减少，并且相对于普通RNN具有类似的预测成本。
2019-08-26 cs.LG stat.ML
Recurrent Orthogonal Networks and Long-Memory Tasks
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
尽管RNN已被证明是处理序列数据的强大工具，但寻找允许它们对非常长期的依赖关系进行建模的架构或优化策略仍然是一个活跃的研究领域。在这项工作中，我们仔细分析了最初在（Hochreiter和Schmidhuber，1997）中概述的两个合成数据集，这些数据集用于评估RNN在多个时间步长上存储信息的能力。我们明确地构建了这些问题的RNN解决方案，并使用这些结构，阐明了问题本身以及RNN在其隐藏状态中存储不同类型信息的方式。这些结构进一步解释了最近的方法，指定酉初始化或限制的过渡矩阵的成功。
2017-03-15 cs.AI cs.LG cs.NE
The Expressive Capacity of State Space Models: A Formal Language Perspective
Saarland University（萨尔兰大学）
从形式语言角度研究状态空间模型的表达能力，发现其在特定任务中优于Transformer，并指出当前SSM设计限制其表现。
2025-12-11 cs.CL cs.FL cs.LG
Memory Caching: RNNs with Growing Memory
Google（谷歌）
本文提出Memory Caching技术，通过缓存RNN的记忆状态以增强其记忆容量，实现与Transformer的平衡性能，在长上下文任务中表现优异。
2026-02-27 cs.AI cs.LG
Lipschitz Recurrent Neural Networks
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Ben-Gurion University（本·古里安大学）；Google Research（谷歌研究院）
将循环神经网络（RNNs）视为连续时间动力系统，我们提出了一个递归单元，它用两个部分来描述隐藏状态的演化：一个众所周知的线性分量加上一个Lipschitz非线性。这种特殊的函数形式便于使用非线性系统理论的工具对经常性单元的长期行为进行稳定性分析。反过来，这使得在实验之前就可以做出架构设计决策。给出了递归单元全局稳定的充分条件，为隐到隐矩阵的构造提供了一种新的方法。我们的实验表明，Lipschitz RNN可以在一系列基准任务上优于现有的递归单元，包括计算机视觉，语言建模和语音预测任务。最后，通过基于Hessian的分析，我们证明了与其他连续时间RNN相比，我们的Lipschitz递归单元在输入和参数扰动方面更具鲁棒性。
2021-04-24 cs.LG math.DS stat.ML
Linear RNNs Provably Learn Linear Dynamic Systems
China Information Technology Security Evaluation Center（中国信息技术安全评估中心）；Beijing Jiaotong University（北京交通大学）
研究线性RNN使用梯度下降学习稳定线性动态系统的能力，证明了在足够宽度下可克服非凸性实现可证明学习，并给出多项式复杂度的首个理论保证。
2023-10-23 cs.LG cs.SY eess.SY
Dynamical similarity analysis can identify compositional dynamics developing in RNNs
ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）
提出利用RNN组合学习构建测试用例评估表征对齐指标，证明动态相似性分析（DSA）比现有指标更抗噪且能可靠识别行为相关表征，并揭示了现代状态空间模型在循环动态上的差异。
2024-12-21 cs.AI cs.LG cs.NE
Explainable Natural Language Processing with Matrix Product States
Quantum Technology Foundation (Thailand)（泰国量子技术基金会）；Thailand Center of Excellence in Physics, Ministry of Higher Education, Science, Research and Innovation（高等教育、科学、研究和创新部泰国卓越物理中心）；Chulalongkorn University（朱拉隆功大学）；Mahidol University（玛希隆大学）；Blueqat Inc.（Blueqat公司）；Technical University of Crete（克里特理工大学）；National University of Singapore（新加坡国立大学）
尽管递归神经网络（RNN）在自然语言处理（NLP）中取得了经验上的成功，但由于本质上复杂的非线性计算，对RNN的理论理解仍然有限。我们系统地分析了RNN在一个无处不在的NLP任务中的行为，即电影评论的情感分析，通过一类称为递归算术电路（RAC）和矩阵乘积状态（MPS）的RNN之间的映射。使用冯-诺依曼纠缠熵（EE）作为信息传播的代理，我们表明，单层RAC具有最大的信息传播能力，所反映的EE的饱和度。扩大的键尺寸超过EE饱和阈值并不增加模型的预测精度，所以可以推断出一个极小模型，最好地估计的数据统计。虽然饱和EE小于面积法则所允许的最大EE，但我们的极小模型在现实情感分析数据集上仍然达到约99%的训练准确率。因此，低EE并不是反对为NLP采用单层RAC的理由。与人们普遍认为长距离信息传播是RNN成功的主要来源相反，我们证明了单层RAC从信息传播和词向量嵌入之间的微妙相互作用中获得了高表达能力。我们的工作揭示了RAC中学习的现象学，更普遍地说，使用多体量子物理学的工具，揭示了RNN对NLP的可解释性。
2022-04-06 cond-mat.dis-nn cond-mat.stat-mech cs.CL
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology（长沙理工大学）；Honam University（湖南大学）
循环神经网络（RNN）已被广泛应用于处理时态问题，如洪水预报和金融数据处理。一方面，由于严格的时间序列依赖性，传统的RNN模型放大了梯度问题，使得难以实现长期记忆功能。另一方面，RNN细胞是高度复杂的，这将显著增加计算复杂性，并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络（TFC-RNNs）模型来解决梯度问题。在时间t-2处引入一个并行分支，将隐藏状态直接转移到时间t，而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上，提出了一种新的单元结构--单栅递归单元（SGRU）。这种单元结构可以减少RNN单元的参数数量，从而降低计算复杂性。接下来，将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后，通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明，我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500，有效地过滤掉噪声。在语言处理能力方面，TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
R2N2: Residual Recurrent Neural Networks for Multivariate Time Series Forecasting
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；IBM Research, T. J. Watson Research Center（IBM研究院托马斯·J·沃森研究中心）
多变量时间序列建模与预测是一个具有广泛应用前景的重要问题。传统的方法，如VAR（向量自回归）模型和最近的方法，如RNN（循环神经网络）是建模时间序列数据不可或缺的工具。在许多多变量时间序列建模问题中，通常存在显著的线性依赖分量，VAR适用于该分量，以及非线性分量，RNN适用于该分量。仅使用VAR或仅使用RNN对此类时间序列进行建模可能会导致预测性能差或模型复杂，训练时间长。在这项工作中，我们提出了一种称为R2N2（残差RNN）的混合模型，它首先用简单的线性模型（如VAR）对时间序列进行建模，然后使用RNN对其残差进行建模。R2N2可以使用VAR和RNN的现有算法进行训练。通过对两个真实世界数据集（航空和气候领域）的广泛实证评估，我们表明R2N2具有竞争力，通常优于单独使用的VAR或RNN。我们还表明，与RNN相比，R2N2的训练速度更快，同时需要更少的隐藏单元。
2017-09-10 cs.LG stat.ML
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Computing Research Lab（MIT-IBM计算研究实验室）
本文提出三元线性注意力，通过将键、第二键和值的三元外积写入三维张量状态，以参数高效方式扩大RNN记忆容量，显著提升长上下文建模与召回性能。
2026-09-30 cs.CL cs.LG
Expressive power of tensor-network factorizations for probabilistic modeling, with applications from hidden Markov models to quantum machine learning
Max-Planck-Institut für Quantenoptik（马克斯·普朗克量子光学研究所）；Munich Center for Quantum Science and Technology (MCQST)（慕尼黑量子科学与技术中心（MCQST））；Dahlem Center for Complex Quantum Systems, Freie Universität Berlin（柏林自由大学达勒姆复杂量子系统中心）；Freie Universität Berlin（柏林自由大学）
张量网络技术在物理学中取得了巨大的成功，并且最近在机器学习中引起了人们的关注，既作为制定新的学习算法的工具，又作为增强对现有方法的数学理解的工具。受这些发展的启发，以及张量网络和概率图形模型之间的自然对应关系，我们对离散多元概率分布的各种张量网络因子分解的表达能力进行了严格的分析。这些因子分解包括非负张量序列/MPS，它们与隐马尔可夫模型相对应，以及Born机，它们与局域量子电路自然相关。当用于建模概率分布时，它们表现出易处理的似然性，并允许有效的学习算法。有趣的是，我们证明了存在概率分布，其中一些张量网络分解的资源需求之间存在无界分离。特别令人惊讶的是，使用复张量而不是实张量可以导致网络参数数量的任意大的减少。此外，我们引入了局部纯化态（LPS），这是一种受量子系统模拟技术启发的新因子分解，具有比所有其他表示更好的表达能力。通过数值实验探讨了这一结果的后果。我们的研究结果意味着，LPS应被视为超过隐马尔可夫模型，并进一步提供了指导方针的概率建模的局部量子电路的设计。
2019-11-29 cond-mat.str-el cs.LG math.OC
Revisiting Glorot Initialization for Long-Range Linear Recurrences
Tel Aviv University（特拉维夫大学）；Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）
本文重新审视Glorot初始化在长程线性递归中的不稳定性，提出维度感知的重缩放方法，将谱半径调至略低于1，以防止信号爆炸或衰减，并指出标准初始化在长序列下失效，需独立理论。
2025-05-26 cs.AI cs.LG
Depth Enables Long-Term Memory for Recurrent Neural Networks
Faculty of Computer Science and Engineering The Hebrew University of Jerusalem（计算机科学与工程学院 希伯来大学耶路撒冷分校）；The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校）；Faculty of Computer Science and Engineering（计算机科学与工程学院）
现代循环神经网络（RNN）在涉及序列数据的学习任务上取得空前成功的一个关键属性是它们能够对复杂的长期时间依赖性进行建模。然而，缺乏对RNN长期记忆能力的一个完善的衡量标准，因此对深度对其在整个时间内关联数据的能力的影响的正式理解是有限的。具体来说，卷积网络上现有的深度效率结果不足以解释深度RNN在不同长度数据上的成功。为了解决这个问题，我们引入了一个衡量网络支持跨时间信息流的能力的指标，称为起止分离秩，它反映了递归网络实现的函数与输入序列的开始和结束之间没有依赖关系的距离。我们证明了深经常性网络支持的起始-结束分离秩组合高于浅对应网络支持的秩。因此，我们确定深度在递归网络建模长期依赖关系的能力方面具有压倒性的优势，并提供了量化这一关键属性的范例。我们通过广泛的实验评估，使用限制隐藏到隐藏矩阵正交的优化技术，经验性地证明了常见RNN上讨论的现象。最后，我们使用量子张量网络的工具来获得有关递归网络深度带来的复杂性的额外图形见解。
2020-03-23 cs.LG stat.ML
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
Meta FAIR；Inria Paris（巴黎信息与自动化研究所）；ENS-PSL University（巴黎文理研究大学）；University of Tübingen（图宾根大学）
研究针对线性注意力模型长上下文召回不足的问题，提出稀疏增量记忆（SDM）架构，通过稀疏寻址扩展门控线性循环神经网络隐藏状态，在等FLOP和参数数量下提升性能，还能改进常识与推理任务。
2026-07-09 cs.LG
Fast weight programming and linear transformers: from machine learning to neurobiology
Harvard University（哈佛大学）；Center for Brain Science（脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院）
本文探讨了快速权重编程器（FWPs）的理论基础、计算特性及其与变换器和状态空间模型的联系，并讨论了FWPs与大脑突触可塑性模型的关联，揭示了自然与人工智能的交汇。
2026-09-28 cs.AI cs.LG q-bio.NC
On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
该研究利用可控复杂度的时间自动机构建监督任务，训练RNN模拟时间触发器，发现其学习分阶段进行，通过动力系统分析揭示学习阶段由分岔隔开，为理解RNN的时间表示与学习动力学提供了新视角。
2023-06-12 cs.LG cs.NE
Learning Long-Term Dependencies in Irregularly-Sampled Time Series
IST Austria（奥地利科学技术研究所）；TU Wien（维也纳工业大学）；MIT（麻省理工学院）
具有连续时间隐藏状态的递归神经网络（RNN）非常适合对不规则采样的时间序列进行建模。然而，当输入数据具有长期依赖性时，这些模型面临困难。我们证明，与标准RNN类似，这个问题的根本原因是训练过程中梯度的消失或爆炸。这种现象由隐藏状态的常微分方程（ODE）表示来表示，而不管ODE求解器的选择。我们通过设计一种基于长短期记忆（LSTM）的新算法来提供解决方案，该算法将其记忆与其时间连续状态分离。通过这种方式，我们在RNN中编码了一个连续时间动态流，允许它响应于在任意时滞到达的输入，同时确保通过内存路径的恒定错误传播。我们称这些RNN模型为ODE-LSTM。我们的实验表明，ODE-LSTM在具有长期依赖性的非均匀采样数据上优于基于RNN的高级同行。所有代码和数据都可以在https://github.com/mlech26l/ode-lstms上找到。
2020-12-04 cs.LG stat.ML
Learning Intrinsic Sparse Structures within Long Short-Term Memory
Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）；Microsoft Research（微软研究院）；Bing（必应）；Business AI（商业人工智能）；Microsoft（微软）
模型压缩对于在拥有有限资源的用户设备和需要对大规模服务请求进行快速响应的业务集群中广泛采用递归神经网络（RNN）具有重要意义。这项工作旨在通过减少LSTM单元中基本结构的大小来学习结构稀疏的长短期记忆（LSTM），包括输入更新，门，隐藏状态，单元状态和输出。独立地减小基本结构的大小可能会导致它们之间的尺寸不一致，从而导致无效的LSTM单元。为了克服这个问题，我们提出了内在稀疏结构（ISS）的LSTM。删除ISS的一个组件将同时将所有基本结构的尺寸减少一个，从而始终保持尺寸的一致性。通过在LSTM单元内学习ISS，获得的LSTM保持规则，同时具有更小的基本结构。基于组Lasso正则化，我们的方法实现了10.59倍的加速，而不会失去任何语言建模的Penn TreeBank数据集的困惑。它也成功地通过一个紧凑的模型，只有2.69 M的权重为机器问答的SQuAD数据集进行评估。我们的方法成功地扩展到非LSTM RNN，如递归高速公路网络（RHN）。我们的源代码可在https://github.com/wenwei202/iss-rnns上公开获取
2018-02-11 cs.AI cs.CL cs.LG
Metric Entropy Limits on Recurrent Neural Network Learning of Linear Dynamical Systems
ETH Zurich（苏黎世联邦理工学院）
神经网络理论中最有影响力的结果之一是通用逼近定理[1，2，3]，该定理指出连续函数可以通过单隐层前馈神经网络在任意精度内逼近。本文的目的是建立一个结果，在这种精神的近似一般离散时间线性动力系统-包括时变系统-递归神经网络（RNNs）。对于线性时不变（LTI）系统的子类，我们设计了这个声明的定量版本。具体来说，根据[4]，通过度量熵来测量所考虑的LTI系统的复杂性，我们证明了RNN可以最佳地学习-或者用系统理论的说法来识别-稳定的LTI系统。对于输入-输出关系通过差分方程表征的LTI系统，这意味着RNN可以以度量熵最优的方式从输入-输出轨迹中学习差分方程。
2021-12-15 cs.IT cs.LG math.DS
TNT: Improving Chunkwise Training for Test-Time Memorization
University of Southern California（南加州大学）；Google Research（谷歌研究）
TNT 提出两阶段训练范式，通过分层记忆与局部记忆重置实现大规模并行化，将训练效率与推理性能解耦，在 Titans 和 TTT 上实现最高 17 倍加速并提升准确率。
2025-11-10 cs.AI cs.LG
