Recurrent Neural Networks (RNNs): A gentle Introduction and Overview
Eberhard-Karls-University Tübingen（图宾根埃伯哈德·卡尔斯大学）
“语言建模和生成文本”、“语音识别“、“生成图像描述”或“视频标记”领域的最先进解决方案一直使用循环神经网络作为其方法的基础。因此，如果我们想跟上这些领域最近或即将出版的出版物，了解基本概念至关重要。在这项工作中，我们给出了一个简短的概述在循环神经网络领域的一些最重要的概念，使读者能够很容易地理解的基本面，如但不限于“通过时间的反向传播”或“长短期记忆单位”，以及一些最近的进展，如“注意力机制“或“指针网络”。我们还提供了必要时进一步阅读更复杂主题的建议。
2019-11-23 cs.LG stat.ML
RNNs Evolving on an Equilibrium Manifold: A Panacea for Vanishing and Exploding Gradients?
Boston University（波士顿大学）；MERL（三菱电机研究实验室）
递归神经网络（RNN）特别适合于对序列数据中的长期依赖关系进行建模，但众所周知，它很难训练，因为在时间上反向传播的误差要么消失，要么以指数速度爆炸。虽然一些作品试图通过门控经常性单位，精心选择的参数约束和跳跃连接来减轻这种影响，但我们开发了一种新的视角，旨在发展常微分方程（ODE）平衡流形上的隐藏状态。我们提出了一个新的RNN，即{ \em平衡递归神经网络}（ERNN），克服了梯度衰减或爆炸效应，并导致在平衡流形上演化的递归模型。我们表明，平衡点是稳定的，导致快速收敛的离散常微分方程的不动点。此外，ERNN考虑了长期依赖性，并且可以有效地回忆起遥远过去的数据的信息方面。我们表明，ERNN在许多具有挑战性的数据集上实现了最先进的准确性，具有3- 10倍的加速比，1.5- 3倍的模型大小减少，并且相对于普通RNN具有类似的预测成本。
2019-08-26 cs.LG stat.ML
Reversible Recurrent Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
循环神经网络（RNN）在处理顺序数据方面提供了最先进的性能，但是训练是存储密集型的，限制了可以训练的RNN模型的灵活性。可逆RNN-隐藏到隐藏转换可以逆转的RNN-提供了一条减少训练内存需求的途径，因为隐藏状态不需要存储，而是可以在反向传播过程中重新计算。我们首先证明了完全可逆的RNN，它不需要存储隐藏的激活，从根本上是有限的，因为它们不能忘记隐藏状态的信息。然后，我们提供了一个存储少量比特的方案，以允许完全逆转遗忘。我们的方法实现了与传统模型相当的性能，同时将激活存储器成本降低了10- 15倍。我们将我们的技术扩展到基于注意力的序列到序列模型，在那里它保持性能，同时在编码器中将激活记忆成本降低5- 10倍，在解码器中降低10- 15倍。
2018-10-25 cs.LG stat.ML
Mean field theory for deep dropout networks: digging up gradient backpropagation deeply
University of Technology Sydney（悉尼科技大学）；Northwestern University（西北大学）；Xiamen University（厦门大学）
近年来，平均场理论被应用于神经网络的研究，并取得了很大的成功。该理论已被应用于各种神经网络结构，包括CNN，RNN，残差网络和批量归一化。不可避免的是，最近的工作也涵盖了dropout的使用。平均场理论表明，存在的深度尺度限制了信号传播和梯度反向传播的最大深度。然而，梯度反向传播是在梯度独立性假设下导出的，即前馈期间使用的权重独立于反向传播中使用的权重。这不是神经网络在真实环境中的训练方式。相反，在前馈步骤中使用的相同权重需要被携带到其对应的反向传播。利用这一现实条件，我们对线性dropout网络进行了理论计算，并对dropout网络进行了一系列实验。我们的实验结果表明，一个有趣的现象，长度梯度可以反向传播的一个单一的输入和一对输入是由相同的深度尺度。此外，我们还研究了梯度统计度量的方差和均值之间的关系，并显示出普适性的出现。最后，我们通过一系列使用MNIST和CIFAR10的实验研究了深度dropout网络的最大可训练长度，并提供了一个比原始工作更精确的描述可训练长度的经验公式。
2020-04-13 cs.LG stat.ML
On the difficulty of learning chaotic dynamics with RNNs
Central Institute of Mental Health（中央心理健康研究所）；Heidelberg University（海德堡大学）
递归神经网络（RNN）是广泛使用的机器学习工具，用于对序列和时间序列数据进行建模。众所周知，它们很难训练，因为它们的损失梯度在时间上反向传播，在训练期间趋于饱和或发散。这就是所谓的爆炸和消失梯度问题。这个问题的以前的解决方案要么建立在相当复杂的，专门设计的架构与门控存储器缓冲区，或-最近-强加的约束，确保收敛到一个固定点或限制（的特征谱）的递归矩阵。然而，这样的约束对RNN的表达能力造成了严重的限制。基本的内在动力学，如多稳态或混沌被禁用。这与自然界和社会中遇到的许多（如果不是大多数）时间序列的混沌本质不一致。这在科学应用中是特别成问题的，其中一个目的是重建潜在的动力系统。在这里，我们通过将RNN训练期间的损失梯度与RNN生成的轨道的Lyapunov谱相关联，对这个问题进行了全面的理论处理。我们在数学上证明了产生稳定平衡或循环行为的RNN具有有界梯度，而具有混沌动力学的RNN的梯度总是发散的。基于这些分析和见解，我们提出了如何根据系统的李雅普诺夫谱优化混沌数据的训练过程的方法，而不管所采用的RNN架构。
2022-10-06 cs.LG math.DS stat.ML
Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics
ETH Zürich（苏黎世联邦理工学院）；University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了递归神经网络在预测高维和降阶复杂系统的时空动态时，使用水库计算（RC）和反向传播通过时间（BPTT）门控网络架构的效率。我们强调每种方法的优点和局限性，并讨论它们的并行计算架构的实现。我们量化的相对预测精度，这些算法的长期预测混沌系统作为基准的Lorenz-96和Kuramoto-Sivashinsky（KS）方程。我们发现，当完整的状态动态可用于训练时，RC在预测性能和捕获长期统计数据方面优于BPTT方法，同时需要更少的训练时间。然而，在降阶数据的情况下，大规模RC模型可能是不稳定的，并且比BPTT算法更有可能发散。相比之下，通过BPTT训练的RNN表现出更好的预测能力，并很好地捕捉降阶系统的动态特性。此外，本研究首次量化的KS方程的李雅普诺夫谱与BPTT，达到类似的精度RC。这项研究表明，RNN是学习和预测复杂时空系统的有效计算框架。
2020-02-17 cs.LG eess.SP physics.flu-dyn
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络（SNN）的使用和发展的极大兴趣。然而，尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络（DNN）方面取得了重大进展，但对SNN的训练方法仍然知之甚少。在本文中，我们提出了一个新的框架来训练递归SNN。类似于递归神经网络（RNN）在DNN中学习时间序列模型的好处，我们开发了基于长短期记忆（LSTM）网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系，其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
Alternating Synthetic and Real Gradients for Neural Language Modeling
使用时间反向传播（BPTT）训练递归神经网络（RNN）具有已知的缺点，例如难以捕获序列中的长期依赖性。尚未发现BPTT的成功替代品。最近，已经提出了通过解耦神经接口模块的具有合成梯度的BP来代替BPTT用于训练RNN。另一方面，已经表明，用合成梯度和真实梯度学习的表示是不同的，尽管它们在功能上是相同的。在这个项目中，我们将探索将合成和真实梯度与神经语言建模任务相结合的方法。从经验上讲，我们证明了在语言建模任务定期热重启后，使用合成和真实梯度交替训练的有效性。
2022-06-03 cs.LG cs.NE
Learning with Local Gradients at the Edge
为了实现在边缘设备上快速收敛和低内存的学习，我们提出了一种新的无反向传播优化算法，称为目标投影随机梯度下降（tpSGD）。tpSGD将直接随机目标投影推广到任意损失函数，并将目标投影扩展到训练递归神经网络（RNN）以及前馈网络。tpSGD使用逐层随机梯度下降（SGD）和通过标签的随机投影生成的局部目标，仅通过向前传递逐层训练网络。tpSGD不需要在优化过程中保留梯度，与SGD反向传播（BP）方法相比，大大减少了内存分配，后者需要整个神经网络权重、输入/输出和中间结果的多个实例。我们的方法在完全连接层、卷积层和递归层的相对较浅的网络上，在5%的准确度内执行了BP到BP的梯度下降。tpSGD在由多层感知器、卷积神经网络（CNN）和RNN组成的浅层模型中的性能也优于其他最先进的无梯度算法，具有竞争力的准确性和更少的内存和时间。我们评估了tpSGD在训练深度神经网络（例如VGG）方面的性能，并将该方法扩展到多层RNN。这些实验突出了与优化的基于层的适配器训练相关的新研究方向，用于在边缘使用tpSGD进行域转移。
2022-09-16 cs.AI cs.LG
Deep Neural Networks and End-to-End Learning for Audio Compression
Handong Global University（韩东国际大学）
最近在端到端深度学习方面取得的成就鼓励人们探索使用统一的深度网络模型处理高度结构化数据的任务。具有这样的用于压缩音频信号的模型是具有挑战性的，因为它需要不容易用端到端反向传播训练的离散表示。在本文中，我们提出了一种端到端的深度学习方法，该方法将递归神经网络（RNN）与变分自编码器（VAE）的训练策略结合起来，并使用潜在空间的二进制表示。我们对离散表示的伯努利分布应用重新参数化技巧，这允许平滑的反向传播。此外，我们的方法允许分离的编码器和解码器，这是必要的压缩任务。据我们所知，这是第一次使用RNN对单个音频压缩模型进行端到端学习，我们的模型实现了20.54的信号失真比（SDR）。
2021-07-13 cs.LG cs.SD eess.AS
Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks
Institute for Informatics, LMU Munich（慕尼黑大学信息学研究所）
所有不同类型的循环神经网络（RNN）的共同点是对数据点之间的时间关系进行建模。当后续数据点之间没有直接关系时（例如，当数据点随机生成时），我们证明了RNN仍然能够通过使用标准的反向传播来记住一些数据点。然而，我们还表明，对于经典的RNN，LSTM和GRU网络，可以以这种方式复制的递归调用之间的数据点距离是非常有限的（与数据点之间的松散连接相比），并且受到RNN类型和大小的各种约束。这意味着相关数据点之间的距离存在一个硬限制（远低于信息论的限制），在此范围内，RNN仍然能够识别所述关系。
2022-12-20 cs.CV cs.LG
Decoupled Neural Interfaces using Synthetic Gradients
DeepMind
训练定向神经网络通常需要通过计算图向前传播数据，然后是反向传播误差信号，以产生权重更新。因此，网络的所有层，或者更一般地说，模块都被锁定，在这个意义上，它们必须等待网络的其余部分向前执行并向后传播错误，然后才能被更新。在这项工作中，我们打破了这个约束，通过引入一个模型的未来计算的网络图的解耦模块。这些模型仅使用局部信息来预测建模子图的结果。特别是，我们专注于建模误差梯度：通过使用建模的合成梯度代替真实的反向传播误差梯度，我们解耦子图，并可以独立和异步地更新它们，即我们实现解耦的神经接口。我们展示了前馈模型的结果，其中每一层都是异步训练的，递归神经网络（RNN）预测一个人的未来梯度延长了RNN可以有效建模的时间，以及一个在不同时间尺度上滴答作响的分层RNN系统。最后，我们证明了除了预测梯度之外，相同的框架可以用于预测输入，从而产生在向前和向后传递中解耦的模型-相当于独立的网络，这些网络可以共同学习，以便它们可以组成一个单一的功能公司。
2017-07-03 cs.LG
Convergence Analysis of Real-time Recurrent Learning (RTRL) for a class of Recurrent Neural Networks
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics & Statistics, Boston University（波士顿大学数学与统计系）
该研究针对截断反向传播时间算法在长序列RNN训练中梯度近似误差大的问题，证明了实时循环学习（RTRL）算法对一类RNN的收敛性，通过数值研究验证理论，并给出其在金融限价订单簿数据中的应用示例。
2025-01-14 cs.LG math.PR stat.ML
Bayesian Recurrent Neural Networks
DeepMind（深度思维）
在这项工作中，我们探讨了一个简单的变分贝叶斯方案的循环神经网络。首先，我们证明了通过时间截断反向传播的简单自适应可以在训练期间仅以少量额外计算成本产生良好质量的不确定性估计和优越的正则化，还可以将参数数量减少80%。其次，我们展示了一种新的后验近似如何进一步提高贝叶斯RNN的性能。我们将局部梯度信息纳入近似后验，使其围绕当前批次统计数据进行锐化。我们展示了这种技术是如何不排他的循环神经网络，可以更广泛地应用于训练贝叶斯神经网络。我们还从经验上证明了贝叶斯RNN在语言建模基准和图像描述任务上优于传统RNN，并展示了这些方法中的每一种如何改进我们的模型，而不是各种其他训练它们的方案。我们还介绍了一个新的基准研究语言模型的不确定性，使未来的方法可以很容易地进行比较。
2019-05-09 cs.LG stat.ML
A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
RWTH Aachen University（亚琛工业大学）
我们对基于深度双向长短期记忆（LSTM）递归神经网络（RNN）的自动语音识别（ASR）声学模型进行了全面研究。我们研究的效果的大小和深度和训练模型多达8层。我们研究了训练方面，并研究了优化方法的不同变体，如dropout，截断反向传播，不同的正则化技术，如dropout和$L_2$正则化，以及不同的梯度裁剪变体。实验分析的主要部分是在Quaero语料库上进行的。还在Switchboard语料库上进行了额外的实验。与Quaero任务上的最佳前馈神经网络（FFNN）基线相比，我们最好的LSTM模型在单词出错率方面有超过14%的相对改善。在这项任务中，我们使用8层双向LSTM获得了最佳结果，并且我们证明了具有逐层构造的预训练方案有助于深度LSTM。最后，我们比较了许多实验的训练计算时间与识别性能的关系。所有实验都是使用RETURNN（RWTH通用递归神经网络的可扩展训练框架）和RASR（RWTH ASR工具包）完成的。
2017-03-29 cs.CL cs.LG cs.NE
Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time
Sharif University of Technology（谢里夫理工大学）
本研究提出互区间循环神经网络MI-RNN，通过修改传统RNN结构、重叠时间区间并引入条件隐藏状态与遗忘因子，用反向传播替代数值导数计算时间相关物理信息损失，在三类PDE基准问题上精度显著优于现有RNN模型。
2024-09-16 cs.LG
Recurrent Neural Networks and Long Short-Term Memory Networks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
本文以教程兼综述形式系统讲解RNN与LSTM，涵盖BPTT、梯度问题及解决思路、LSTM/GRU结构变体，以及双向模型与ELMo。
2023-04-22 cs.CL cs.LG cs.NE
A Novel Predictive-Coding-Inspired Variational RNN Model for Online Prediction and Recognition
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究介绍了PV-RNN，一种受预测编码思想启发的新型变分RNN。该模型通过动态改变其潜在状态的随机性来学习提取隐藏在波动时间模式中的概率结构。它的架构试图解决变分贝叶斯RNN的两个主要问题：潜变量如何学习有意义的表示，以及推理模型如何将未来的观察转移到潜变量。PV-RNN通过引入反映训练数据的自适应向量来实现这两个目标，然后在评估期间可以不同地调整其值。此外，反向传播期间的预测误差，而不是正向计算期间的外部输入，用于向网络传达有关外部数据的信息。对于测试，我们引入了错误回归来预测未知序列，这是受到利用这些机制的预测编码的启发。该模型引入了一个加权参数，元先验，以平衡优化压力放在两个方面的边际似然序列数据的下限。我们在两个具有概率结构的数据集上测试了该模型，结果表明，在元先验值较高的情况下，网络会产生确定性混沌，通过这种混沌来模仿数据的随机性。对于低值，模型表现为随机过程。该网络在中间值上表现最好，并且能够以良好的泛化能力捕获潜在的概率结构。分析元先验对网络的影响，可以精确地研究在我们的模型中加入随机动态的理论价值和实际好处。我们展示了更好的预测性能的机器人模仿任务与我们的模型使用误差回归相比，标准的变分贝叶斯模型缺乏这样的程序。
2019-06-25 cs.AI cs.LG stat.ML
Equilibrated Recurrent Neural Network: Neuronal Time-Delayed Self-Feedback Improves Accuracy and Stability
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；Boston University（波士顿大学）
我们提出了一种新的{ \it平衡循环神经网络}（ERNN），以解决传统RNN的不准确性和不稳定性问题。借鉴神经科学中的autapse概念，我们提出用延时自反馈回路来增强RNN。我们唯一的目的是修改每个内部RNN状态的动态，并在任何时候强制它进化到接近与当时输入信号相关的平衡点。我们发现，这种自反馈有助于稳定隐藏的状态转换，从而在训练过程中快速收敛，同时有效地学习有区别的潜在特征，从而在测试时在几个基准数据集上获得最先进的结果。我们提出了一种新的不精确牛顿方法来解决不动点条件给定的模型参数生成的潜在功能在每个隐藏状态。我们证明了我们的不精确牛顿法的局部收敛性与线性速度（在温和的条件下）。我们利用这一结果来有效地训练基于反向传播的ERNN。
2019-03-02 cs.CV cs.LG stat.ML
Pretraining Recurrent Networks without Recurrence
MIT（麻省理工学院）
提出监督记忆训练（SMT）方法，通过将循环神经网络训练转化为一步记忆转换标签上的监督学习，实现时间并行训练和稳定梯度路径，优于反向传播通过时间（BPTT）方法。
2026-07-27 cs.AI cs.LG
Gradient-Free Training of Recurrent Neural Networks using Random Perturbations
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
本文提出将基于活动的节点扰动方法扩展到时间域，实现RNN的无梯度训练，性能与BPTT相当且优于标准扰动方法，适合神经形态计算。
2024-10-01 cs.LG
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich（苏黎世联邦理工学院）
学习长期依赖性是循环神经网络（RNN）的一个关键的长期挑战。分层循环神经网络（HRNN）被认为是一种很有前途的方法，因为长期依赖性是通过层次结构上下的捷径来解决的。然而，截断反向传播时间（TBPTT）的内存要求仍然阻止在非常长的序列上训练它们。在本文中，我们通过经验证明，在（深度）HRNN中，从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代，而不会损害网络的学习能力，在广泛的任务范围内。与标准TBPTT相比，通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
Learning from Predictions: Fusing Training and Autoregressive Inference for Long-Term Spatiotemporal Forecasts
ETH Zürich（苏黎世联邦理工学院）；Harvard University（哈佛大学）
递归神经网络（RNN）已成为自然语言处理和高维动力系统（如湍流）等领域建模和预测框架的组成部分。为了提高预测的准确性，RNN使用时间反向传播（BPTT）方法进行训练，以最大限度地减少预测损失。在测试过程中，RNN通常用于自回归场景，其中网络的输出被反馈到输入中。然而，这可能会导致曝光偏差效应，因为网络被训练成接收地面实况数据，而不是自己的预测。当状态分布不同时，训练和测试之间的这种不匹配被复合，并且测量训练和测试损耗。为了解决这个问题，以前的研究已经提出了具有概率预测的语言处理网络的解决方案。基于这些进展，我们提出了用于预测复杂系统的预定自回归BPTT（BPTT-SA）算法。我们的研究结果表明，BPTT-SA有效地减少了卷积RNN和卷积自动编码器RNN中的迭代误差传播，并证明了其在高维流体流动长期预测中的能力。
2023-02-22 cs.LG nlin.CD physics.comp-ph
Long Short-term Memory RNN
本文基于挪威科技大学2020年秋季的一个机器学习项目。该项目的启动是对过去五年来科学界时间序列预测方法的最新发展进行文献审查。本文总结了这项研究的基本方面。此外，在本文中，我们介绍了LSTM单元的架构，并解释了不同的组件如何一起改变单元的内存并预测输出。此外，本文还提供了通过LSTM计算前向迭代的必要公式和基础。然后，本文提到了一些实际的应用和研究，强调LSTM的优点和缺点，在时间序列域和自然语言处理（NLP）域。最后，突出了时间序列预测的替代统计方法，其中概述了ARIMA和指数平滑。然而，由于LSTM可以被视为一个复杂的体系结构，本文假设读者对基本的机器学习方面有一定的了解，例如多层感知器，激活函数，过拟合，反向传播，偏差，过拟合和欠拟合等等。
2021-05-14 cs.AI cs.LG
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Engineering, Indian Institute of Technology, Madras（工程学院，印度理工学院马德拉斯分校）；AI, Indian Institute of Technology, Madras（人工智能，印度理工学院马德拉斯分校）
本文提出Hopfield-Resnet架构，通过残差连接和裁剪ReLU激活函数，实现更深层次网络训练，提升CIFAR-10数据集上的准确率。
2025-10-13 cs.LG cs.NE
Recurrent Kernel Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Université Lyon 1（里昂第一大学）；Laboratoire de Biométrie et Biologie Evolutive UMR 5558（生物统计与进化生物学实验室 UMR 5558）
子串核是表示生物序列或文本的经典工具。然而，当大量的注释数据可用时，允许端到端训练的模型（例如神经网络）通常是优选的。最近，递归神经网络（RNN）和子串核之间的联系已经被绘制出来，通过正式表明具有特定激活函数的RNN是再生核希尔伯特空间（RKHS）中的点。在本文中，我们通过推广卷积核网络来重新审视这一联系-最初与失配核的放松有关-来模拟序列中的间隙。它产生了一种新型的递归神经网络，可以通过反向传播进行端到端的训练，也可以通过使用核近似技术进行无监督训练。我们的实验表明，我们的方法非常适合生物序列，它优于现有的蛋白质分类任务的方法。
2019-10-17 cs.LG stat.ML
Fast Training of Recurrent Neural Networks with Stationary State Feedbacks
Université Paris Dauphine - PSL（巴黎多芬大学-PSL）；ESPCI PSL（巴黎高等物理化工学院-PSL）
本文提出用固定梯度反馈机制替代BPTT，基于平稳性假设和SSM原理定义反馈矩阵，在语言建模中降低训练成本并保持困惑度竞争力。
2025-03-29 cs.AI cs.LG
Gradient Flossing: Improving Gradient Descent through Dynamic Control of Jacobians
Zuckerman Mind Brain Behavior Institute（祖克曼心智大脑行为研究所）；Columbia University（哥伦比亚大学）
本文提出梯度梳理方法，通过正则化前向动力学的李雅普诺夫指数使其趋近于零，以稳定RNN训练中的梯度，控制梯度范数和长期雅可比条件数，提升长时间任务的成功率与收敛速度，并缓解梯度爆炸和消失问题。
2023-12-28 cs.AI cs.LG nlin.CD
Can Local Representation Alignment RNNs Solve Temporal Tasks?
Department of Informatics（信息学系）
针对RNN训练中BPTT的梯度问题与生物学不可解释性，提出基于局部表示对齐的目标传播方法，引入梯度正则化解决梯度消失，在三个标志性时序任务上正则化模型性能显著优于未正则化版本。
2025-07-07 cs.LG
Sensitivity - Local Index to Control Chaoticity or Gradient Globally -
Oita University（大分大学）；NEC Solution Innovators, Ltd.（NEC解决方案创新有限公司）
在这里，我们引入了一个完全本地索引命名为“敏感性”的每个神经元控制混沌或梯度全局的神经网络（NN）。我们还提出了一种学习方法来调整它命名为“灵敏度调整学习（SAL）”。该指数是其输出相对于其输入的梯度幅度。通过在每个神经元中将其时间平均值调整为1.0，神经元中的信息传输改变为适度的，而不会对向前和向后计算进行收缩或扩展。这导致当权重和输入是随机的时，通过一层神经元的适度信息传输。因此，SAL可以控制递归神经网络（RNN）中网络动力学的混沌性。它还可以解决深度前馈NN或RNN中误差反向传播（BP）学习中的消失梯度问题。我们证明了，当SAL应用于具有小而随机的初始权重的RNN时，对数灵敏度，即所有神经元的RMS（均方根）灵敏度的对数，相当于最大李雅普诺夫指数，直到它达到0.0。我们还表明，SAL与BP或BPTT（BP通过时间）一起工作，以避免300层NN或RNN中的消失梯度问题，RNN学习第一个输入和输出之间滞后300步的问题。与在学习之前手动微调权重矩阵的谱半径相比，SAL的连续非线性学习性质防止了学习过程中灵敏度的损失，从而显著提高了学习性能。
2021-07-19 cs.LG cs.NE
Spike-based computation using classical recurrent neural networks
Montefiore Institute, University of Liege（列日大学蒙泰菲奥雷研究所）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
本文提出一种可微的脉冲循环单元Spiking Recurrent Cell，通过修改经典RNN动力学实现基于事件的通信，使普通反向传播可训练深度脉冲网络，并在MNIST等基准上取得与其他脉冲网络相当的性能。
2024-05-06 cs.LG cs.NE
Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks
CWI（荷兰国家数学与计算机科学研究所）；IMEC（比利时微电子研究中心）
受大脑启发的类脑计算作为边缘AI的范例的出现，正在激励人们寻找在这种硬件上运行的高性能和高效的脉冲神经网络。然而，与深度学习中的经典神经网络相比，当前的脉冲神经网络在引人注目的领域缺乏竞争力。在这里，对于顺序和流式任务，我们演示了一种新型的自适应尖峰递归神经网络（SRNN）与其他脉冲神经网络相比，如何能够实现最先进的性能，并且几乎达到或超过经典循环神经网络（RNN）的性能，同时表现出稀疏的活动。由此，我们计算出SRNN在更困难的任务上比经典RNN的能量提高了$>$ 100倍。为了实现这一目标，我们将标准和自适应多时间尺度尖峰神经元建模为自循环神经单元，并利用PyTorch深度学习框架中的代理梯度和自动微分来有效地实现时间反向传播，包括学习重要的尖峰神经元参数，以使我们的尖峰神经元适应任务。
2020-06-16 cs.LG cs.NE
When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training
dept. of EECS, MIT（麻省理工学院电子工程与计算机科学系）
本文分析了固定极点RNN在数据受限的实时学习场景中优于学习极点的原因，展示了其在低训练复杂度下的优越性能。
2026-02-25 cs.LG
Deep Q-network using reservoir computing with multi-layered readout
Oita University（大分大学）
基于递归神经网络（RNN）的强化学习（RL）被用于学习上下文相关的任务，并且在最近的研究中作为具有显著学习性能的方法也引起了关注。然而，基于RNN的RL存在一些问题，即学习过程往往在计算上更加昂贵，并且由于梯度消失/爆炸问题，使用时间反向传播（BPTT）进行训练是不稳定的。提出了一种引入储备池计算的重放存储器方法，该方法训练的Agent不需要BPTT，避免了上述问题。这种方法的基本思想是将来自环境的观测输入到水库网络，并且将观测和水库输出都存储在存储器中。本文表明，该方法的性能提高，通过使用多层神经网络的读出层，它经常由一个单一的线性层。实验结果表明，使用多层读出提高了四个经典的控制任务，需要时间序列处理的学习性能。
2022-03-03 cs.AI cs.LG cs.NE
GAIT-prop: A biologically plausible learning rule derived from backpropagation of error
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
传统的误差反向传播，虽然是一个非常成功的算法，用于学习人工神经网络模型，包括功能，这是生物学上难以置信的学习在真正的神经电路。另一种称为目标传播的方法提出了解决这种不可信性的方法，即使用自上而下的神经活动模型，将神经网络输出端的错误转换为每个单元的分层和合理的“目标”。然后，这些目标可以用于生成用于网络训练的权重更新。然而，到目前为止，目标传播已经被证明是不等价的反向传播。在这里，我们推导出反向传播和目标传播（GAIT-道具）的修改形式之间的确切对应关系，其中目标是向前传递的小扰动。具体来说，当突触权重矩阵正交时，反向传播和GAIT-prop给出相同的更新。在一系列简单的计算机视觉实验中，我们展示了反向传播和GAIT-prop与软正交诱导正则化器之间几乎相同的性能。
2020-11-05 cs.LG cs.NE stat.ML
Toward Lifelong Learning in Equilibrium Propagation: Sleep-like and Awake Rehearsal for Enhanced Stability
Department of Medicine, University of California San Diego（加州大学圣地亚哥分校医学院）
针对平衡传播训练的循环神经网络持续学习中的灾难性遗忘问题，提出类睡眠重放巩固算法，结合类睡眠与清醒复述，显著提升稳定性，在多数据集上超越现有方法，为人工神经网络整合类人类学习行为提供新方向。
2025-08-12 cs.LG
Backpropagation on Dynamical Networks
The University of Western Australia（西澳大学）
本文提出一种基于时间反向传播的动态网络推断方法，利用神经网络近似局部节点动力学并交替回归网络权重，可仅从节点状态观测中同时推断连接结构与局部动力学，并在Lorenz、Chua和FitzHugh-Nagumo振子网络及非对称负耦合场景中验证了有效性。
2023-02-07 cs.LG math.DS nlin.CD
Efficient recurrent architectures through activity sparsity and sparse back-propagation through time
Institute for Neural Computation, Ruhr University Bochum（波鸿鲁尔大学神经计算研究所）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Faculty of Electrical and Computer Engineering, Technische Universität Dresden（德累斯顿工业大学电气与计算机工程学院）
递归神经网络（RNN）非常适合解决资源受限系统中的序列任务，因为它们的表达能力和低计算要求。然而，仍然需要弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。在每个时间步将所有神经元的激活传播到每个连接的神经元所产生的存储器和计算需求，以及激活的顺序依赖性，导致训练和使用RNN的效率低下。我们提出了一种受生物神经元动力学启发的解决方案，使RNN单元之间的通信变得稀疏和离散。这使得具有时间反向传播（BPTT）的反向传递在计算上也是稀疏和高效的。我们的模型基于门控递归单元（GRU），将其扩展为发出离散事件的单元，用于由阈值触发的通信，以便在没有事件的情况下没有信息被传达给其他单元。我们从理论上证明了单元之间的通信，以及向前和向后传递所需的计算，与网络中的事件数量成比例。我们的模型在不影响任务性能的情况下实现了效率，与现实世界任务（包括语言建模）中最先进的递归网络模型相比，表现出了竞争力。动态活动稀疏机制也使我们的模型非常适合新的节能神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/上获得。
2023-03-09 cs.AI cs.LG cs.NE
Online Spatio-Temporal Learning in Deep Neural Networks
IBM Research – Zurich（IBM研究院苏黎世分部）；Graz University of Technology（格拉茨工业大学）；Institute of Theoretical Computer Science（理论计算机科学研究所）
生物神经网络具有通过在线学习不断适应的内在能力。这方面仍然与应用于递归神经网络（RNN）或最近应用于生物启发的脉冲神经网络（SNN）的通过时间的误差反向传播（BPTT）的学习形成鲜明对比。由于需要通过时间展开网络，BPTT涉及梯度的离线计算。在线学习最近重新获得了研究界的关注，主要集中在近似BPTT的方法或应用于SNN的生物学合理方案上。在这里，我们提出了一个替代的角度来看，是基于一个明确的分离的空间和时间梯度分量。结合生物学的见解，我们从第一原理中推导出一种用于深度SNN的新型在线学习算法，称为在线时空学习（OSTL）。对于浅层网络，OSTL与BPTT是梯度等效的，首次实现了具有BPTT等效梯度的SNN的在线训练。此外，所提出的公式揭示了一类SNN架构可训练在线低时间复杂度。此外，我们将OSTL扩展为通用形式，适用于各种网络架构，包括包含长短期记忆（LSTM）和门控递归单元（GRU）的网络。我们展示了我们的算法的操作，从语言建模到语音识别的各种任务，并获得与BPTT基线相当的结果。该算法为SNN和一般深度RNN开发简洁高效的在线训练方法提供了一个框架。
2020-10-08 cs.LG cs.NE stat.ML
Learning Input and Recurrent Weight Matrices in Echo State Networks
University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research（微软研究院）
回声状态网络（ESN）是一种特殊类型的时间深度网络模型，即递归神经网络（RNN），其中递归矩阵经过精心设计，递归矩阵和输入矩阵都是固定的。ESN使用输出单元的激活函数的线性度来简化输出矩阵的学习。在本文中，我们设计了一种特殊的技术，利用ESN的输出单元中的这种线性，来学习输入和递归矩阵。这在早期的ESN中还没有完成，因为它们在学习这些矩阵方面存在众所周知的困难。与一般RNN学习中的时间反向传播（BPTT）技术相比，我们提出的方法利用输出单元中激活函数的线性来制定RNN中各种矩阵之间的关系。这些关系导致成本函数的梯度具有解析形式并且更精确。这将使我们能够计算梯度，而不是像BPTT那样通过递归获得它们。电话状态分类的实验结果表明，与不学习这些矩阵的传统ESN相比，学习ESN中的输入矩阵和递归矩阵中的一个或两个会产生更好的结果，尤其是当使用更长的时间步长时。
2013-11-13 cs.LG
How to Construct Deep Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Aalto University School of Science（阿尔托大学理学院）
在本文中，我们探索了将递归神经网络（RNN）扩展为\textit{deep} RNN的不同方法。首先，我们认为RNN中的深度概念并不像前馈神经网络中那样清晰。然而，通过仔细分析和理解RNN的架构，我们发现RNN的三个点可以更深入：（1）输入到隐藏函数，（2）隐藏到隐藏转换和（3）隐藏到输出函数。基于这一观察，我们提出了两种新的深度RNN架构，它们与早期堆叠多个递归层以构建深度RNN的尝试正交（Schmidhuber，1992; El Hihi和Bengio，1996）。我们使用基于神经运算符的新框架对这些深度RNN进行了另一种解释。在复调音乐预测和语言建模的任务上，对所提出的深度RNN进行了经验评估。实验结果支持了我们的观点，即所提出的深度RNN受益于深度，并且优于传统的浅RNN。
2014-04-24 cs.LG cs.NE stat.ML
Gated Feedback Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
在这项工作中，我们提出了一种新的递归神经网络（RNN）架构。所提出的RNN，门控反馈RNN（GF-RNN），扩展了现有的堆叠多个递归层的方法，允许和控制信号从上层递归层流向下层，每对层使用全局门控单元。基于先前的隐藏状态和当前输入，层之间交换的递归信号被自适应地选通。我们评估了所提出的GF-RNN与不同类型的递归单元，如tanh，长短期记忆和门控递归单元，在字符级语言建模和Python程序评估的任务。我们对不同RNN单元的经验评估表明，在这两项任务中，GF-RNN都优于构建深度堆叠RNN的传统方法。我们认为，之所以会出现这种改进，是因为GF-RNN可以通过学习门控这些交互，自适应地将不同的层分配给不同的时间尺度和层与层的交互（包括通常不存在于堆栈RNN中的自上而下的交互）。
2015-06-17 cs.LG cs.NE stat.ML
Deep Independently Recurrent Neural Network (IndRNN)
Shandong University（山东大学）；University of Wollongong（伍伦贡大学）
众所周知，递归神经网络（RNN）由于梯度消失和爆炸问题而难以训练，因此难以学习长期模式并构建深度网络。为了解决这些问题，本文提出了一种新型的RNN，其递归连接被公式化为Hadamard乘积，称为独立循环神经网络（IndRNN），其中同一层中的神经元彼此独立，并跨层连接。由于表现更好的梯度反向传播，具有调节递归权重的IndRNN有效地解决了梯度消失和爆炸问题，因此可以学习长期依赖性。此外，IndRNN可以与非饱和激活函数（如ReLU（整流线性单元））一起工作，并且仍然可以进行鲁棒训练。已经研究了不同的更深的IndRNN架构，包括基本的堆叠式IndRNN，剩余IndRNN和密集连接的IndRNN，所有这些都可以比现有的RNN更深。此外，IndRNN减少了每个时间步的计算量，并且可以比常用的长短期记忆（LSTM）快10倍以上。实验结果表明，所提出的IndRNN能够处理非常长的序列并构建非常深的网络。与传统的RNN，LSTM和流行的Transformer相比，IndRNN在各种任务上都取得了更好的性能。
2020-12-09 cs.CV cs.LG
Diagonal RNNs in Symbolic Music Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）
在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。
2017-04-19 cs.LG cs.NE stat.ML
Fading memory as inductive bias in residual recurrent networks
Ernst Strüngmann Institute（恩斯特·斯特伦格曼研究所）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
本文提出弱耦合残差循环网络（WCRNNs），通过引入残差连接研究其对网络动力学和衰减记忆特性的影响，发现特定残差连接能提升网络表达能力，并扩展至非线性残差与Elman RNNs初始化方案。
2024-01-03 cs.CV cs.LG
Tuning the burn-in phase in training recurrent neural networks improves their performance
Leibniz University Hannover（莱比锡大学汉诺威分校）
本文通过调节循环神经网络训练中的预热阶段，显著提高了其在时间序列任务中的性能，减少了预测误差超过60%。
2026-02-11 cs.LG cs.SY eess.SY
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China（微电子学院 中国科学技术大学）
本文提出一种受大脑启发的反馈调节残差循环神经网络（FRE-RNN），通过减少谱半径加速收敛，显著降低计算成本，性能与反向传播相当，同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
Dithered backprop: A sparse and quantized backpropagation algorithm for more efficient deep neural network training
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
深度神经网络是成功的，但计算成本很高的学习系统。时间和能量消耗的主要来源之一是众所周知的反向传播（backprop）算法，其大致占训练的计算复杂性的2/3。在这项工作中，我们提出了一种方法，以减少计算成本的backprop，我们命名为抖动backprop。它包括将随机量化方案应用于该方法的中间结果。特定的量化方案，称为非减法抖动（NSD），诱导稀疏性，可以利用计算有效的稀疏矩阵乘法。在流行的图像分类任务上的实验表明，与最先进的方法相比，它在广泛的模型集合中平均产生92%的稀疏性，而准确性没有下降或可以忽略不计，从而显着降低了向后传递的计算复杂性。此外，我们证明了我们的方法与最先进的训练方法完全兼容，这些方法将训练的位精度降低到8位，因此能够进一步降低计算要求。最后，我们讨论并展示了在分布式训练环境中应用抖动反向传播的潜在好处，其中通信和计算效率都可以随着参与节点的数量同时增加。
2020-04-16 cs.LG stat.ML
Neural Controlled Differential Equations for Irregular Time Series
Mathematical Institute, University of Oxford（牛津大学数学研究所）；The Alan Turing Institute（艾伦·图灵研究所）
神经常微分方程是一个有吸引力的选择建模时间动态。然而，一个根本的问题是，常微分方程的解是由其初始条件决定的，并且没有基于后续观测来调整轨迹的机制。在这里，我们演示了如何通过\emph{controlled differential equations}的良好理解的数学解决这一问题。由此产生的\emph{neural controlled differential equation}模型是直接适用于一般设置的部分观察到的不规则采样的多变量时间序列，和（不像以前的工作在这个问题上），它可以利用内存高效的伴随为基础的反向传播，即使在整个观察。我们证明了我们的模型在一系列数据集的实证研究中与类似（基于ODE或RNN的）模型相比具有最先进的性能。最后，我们提供的理论结果证明普遍的近似，我们的模型包含替代ODE模型。
2020-11-05 cs.LG stat.ML
Chi-Square Test Neural Network: A New Binary Classifier based on Backpropagation Neural Network
School of Information Science and Engineering（信息科学与工程学院）；Lanzhou University（兰州大学）
我们介绍了卡方检验神经网络：一个单隐层反向传播神经网络使用卡方检验定理重新定义的成本函数和误差函数。使用标准反向传播算法修改权重和阈值。该方法的优点是在训练集和测试集上进行一致的数据分布。它可以用于二进制分类。在真实数据集上的实验结果表明，与相关方法相比，该算法能显著提高分类精度。
2018-09-04 cs.LG stat.ML
Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks
Telepath；New York University（纽约大学）
该研究开发递归正交滤波器（RQFs）并提出前瞻性输入编码修正，缓解深度连续时间循环网络的梯度衰减，在语音命令等任务上取得优异性能，验证了其参数高效性。
2026-09-04 cs.LG cs.NE q-bio.NC
Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN
Hangzhou Dianzi University（杭州电子科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
递归网络结构是序列建模中广泛使用的模型，但其串行依赖性阻碍了计算的并行化，使得运算效率低下。在数字电子学的早期阶段，串行加法器也遇到了同样的问题。在本文中，我们讨论了循环神经网络（RNN）和串行加法器之间的相似之处。受超前进位加法器的启发，我们将超前进位模块引入到RNN中，使RNN的并行运行成为可能。然后设计了RNN的并行计算方法，最后提出了Carry-lookahead RNN（CL-RNN）。CL-RNN具有并行性和灵活的感受野等优点。通过一组全面的测试，我们验证了CL-RNN在专门为RNN设计的序列建模任务中可以比现有的典型RNN表现得更好。
2021-08-24 cs.LG cs.NE
Extensional Properties of Recurrent Neural Networks
Roosevelt University（罗斯福大学）
该研究提出循环神经网络（RNN）的外延性质概念，证明了RNN版本的Rice定理，指出RNN的任何非平凡外延性质均不可判定，回答了RNN外延性质检测的一般性问题。
2024-10-30 cs.LG cs.NE
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
Université de Montréal（蒙特利尔大学）；Jacobs University（雅各布大学）；Université du Maine（曼恩大学）
在本文中，我们提出了一种新的神经网络模型称为RNN编码器-解码器，由两个递归神经网络（RNN）。一个RNN将符号序列编码为固定长度的向量表示，另一个将表示解码为另一个符号序列。所提出的模型的编码器和解码器联合训练，以最大限度地提高给定源序列的目标序列的条件概率。通过使用由RNN编码器-解码器计算的短语对的条件概率作为现有对数线性模型中的附加特征，经验地发现统计机器翻译系统的性能得到改善。定性，我们表明，该模型学习语义和语法有意义的语言短语表示。
2014-09-03 cs.CL cs.LG cs.NE
