Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
脉冲神经网络（SNN）很好地支持时空学习和节能的事件驱动硬件神经形态处理器。递归脉冲神经网络（RSNNs）是一类重要的神经网络，具有强大的计算能力。然而，RSNN的实际应用受到培训挑战的严重限制。生物启发的无监督学习在提高RSNN性能方面的能力有限。另一方面，现有的反向传播（BP）方法遭受高复杂性展开的时间，消失和爆炸梯度，以及近似分化的不连续尖峰活动时，应用到RSNN。为了能够在定义良好的损失函数下对RSNN进行监督训练，我们提出了一种新的用于训练深度RSNN的Spike-Train级别的反向传播（ST-RSBP）算法。建议的ST-RSBP直接计算的梯度率编码的损失函数定义在输出层的网络w.r.t可调参数。ST-RSBP的可扩展性是通过所提出的尖峰训练级计算来实现的，在此期间，SNN的时间效应在BP的前向和后向传递中被捕获。我们的ST-RSBP算法可以广泛应用于具有单个递归层的RSNN或具有多个前馈和递归层的深度RSNN。基于具有挑战性的语音和图像数据集，包括TI 46、N-TIDIGITS、Fashion-MNIST和MNIST，ST-RSBP能够训练RSNN，其精度超过当前最先进的SNN BP算法和传统的非尖峰深度学习模型。
2019-11-03 cs.LG cs.NE
On Training Recurrent Networks with Truncated Backpropagation Through Time in Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
递归神经网络已经成为许多语音和语言处理任务的主要模型。然而，我们对递归网络的行为和递归网络所能实现的函数类知之甚少。此外，在培训期间使用的化学方法使分析复杂化。在本文中，我们研究了递归网络在语音识别中学习长期依赖性的能力。我们考虑两种解码方法，在线和批量解码，并显示类的功能，解码方法对应。然后，我们将批量解码与一种流行的递归网络训练方法（通过时间截断的反向传播）联系起来。改变解码方法限制了递归网络可以用于预测的过去历史的数量，使我们能够分析它们的记忆能力。从经验上讲，我们利用长期依赖的亚语音状态，音素和单词，并显示如何设计决策，如解码方法，前瞻，上下文框架和连续预测，表征行为的经常性网络。最后，我们在马尔可夫过程和消失梯度之间建立了联系。这些结果对研究语音数据的长期依赖性以及循环网络如何学习这些特性具有重要意义。
2018-10-31 cs.CL cs.LG cs.SD
Mind the truncation gap: challenges of learning on dynamic graphs with recurrent architectures
Feedzai（费兹公司）
本文研究连续时间动态图上图循环神经网络训练中截断BPTT导致的性能损失，通过合成与真实实验揭示“截断差距”，并指出理解和解决该问题对未来CTDG研究至关重要。
2024-12-30 cs.LG
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
A Practical Sparse Approximation for Real Time Recurrent Learning
DeepMind（深度思维）；Google（谷歌）；University College London（伦敦大学学院）
目前用于训练递归神经网络的方法是基于通过时间的反向传播，这需要存储网络状态的完整历史，并且禁止“在线”更新权重（在每个时间步之后）。实时的递归学习（RTRL）消除了对历史存储的需要，并允许在线权重更新，但这样做的代价是状态大小的四次方的计算成本。这使得RTRL训练对于除了最小的网络之外的所有网络都是棘手的，即使是高度稀疏的网络。我们将稀疏n步近似（SnAp）引入RTRL影响矩阵，该矩阵仅保留递归核心的n步内的非零条目。SnAp（n=1）并不比反向传播更昂贵，我们发现它大大优于其他RTRL近似，成本相当，如无偏在线递归优化。对于高度稀疏的网络，n=2的SnAp仍然是易于处理的，并且在在线更新时，在学习速度方面可以超过反向传播。当n很大时，SnAp变得等同于RTRL。
2020-06-12 cs.LG cs.NE stat.ML
Coarse scale representation of spiking neural networks: backpropagation through spikes and application to neuromorphic hardware
Argonne National Laboratory（阿贡国家实验室）
在这项工作中，我们探讨了经常性的代表性泄漏整合和消防神经元的时间尺度等于他们的绝对不应期。我们的粗时间尺度近似获得使用的概率分布函数的尖峰到达，均匀分布在这个时间间隔。这导致了一种离散表示，它表现出与连续模型相同的动态特性，从而通过递归实现实现了高效的大规模模拟和反向传播。我们使用这种方法直接在Pytorch中探索深度脉冲神经网络的训练，包括卷积、全对全连接和最大池层。我们发现，递归模型在训练过程中仅使用4长的尖峰序列就可以获得很高的分类精度。我们还观察到一个很好的转移回泄漏集成和火灾神经元的连续实现。最后，我们将这种方法应用于一些标准控制问题，作为使用神经形态芯片探索强化学习的第一步。
2020-07-13 cs.ET cs.LG cs.NE
Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics
ETH Zürich（苏黎世联邦理工学院）；University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了递归神经网络在预测高维和降阶复杂系统的时空动态时，使用水库计算（RC）和反向传播通过时间（BPTT）门控网络架构的效率。我们强调每种方法的优点和局限性，并讨论它们的并行计算架构的实现。我们量化的相对预测精度，这些算法的长期预测混沌系统作为基准的Lorenz-96和Kuramoto-Sivashinsky（KS）方程。我们发现，当完整的状态动态可用于训练时，RC在预测性能和捕获长期统计数据方面优于BPTT方法，同时需要更少的训练时间。然而，在降阶数据的情况下，大规模RC模型可能是不稳定的，并且比BPTT算法更有可能发散。相比之下，通过BPTT训练的RNN表现出更好的预测能力，并很好地捕捉降阶系统的动态特性。此外，本研究首次量化的KS方程的李雅普诺夫谱与BPTT，达到类似的精度RC。这项研究表明，RNN是学习和预测复杂时空系统的有效计算框架。
2020-02-17 cs.LG eess.SP physics.flu-dyn
Empirical Results for Adjusting Truncated Backpropagation Through Time while Training Neural Audio Effects
Arturia（Arturia公司）；IMS, UMR CNRS 5218（CNRS UMR 5218数学研究所）；ENSC, Bordeaux INP（波尔多国立高等认知科学学院（波尔多国立理工学院））；Inria Bordeaux（波尔多法国国家信息与自动化研究所）
本文通过实验证明，优化TBPTT参数能提升神经音频效果模型的准确性和稳定性，同时减少计算成本并保持高质量的感知效果。
2025-12-08 cs.LG
On orthogonality and learning recurrent networks with long term dependencies
École Polytechnique de Montréal（蒙特利尔理工学院）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；CHUM Research Center（蒙特利尔大学医学中心研究中心）
众所周知，针对表现出长期依赖性的任务来训练深度神经网络和递归神经网络是具有挑战性的。消失或爆炸梯度问题是与这些挑战相关联的众所周知的问题。解决消失和爆炸梯度的一种方法是对权重矩阵使用软约束或硬约束，以便鼓励或加强正交性。正交矩阵在反向传播过程中保持梯度范数，因此可能是一个理想的属性。本文探讨的问题与优化收敛，速度和梯度稳定性时，鼓励或强制正交。为了进行这种分析，我们提出了一个权重矩阵分解和参数化策略，通过它我们可以约束矩阵范数，从而控制反向传播过程中引起的膨胀度。我们发现，正交性的硬约束会对收敛速度和模型性能产生负面影响。
2017-10-12 cs.LG cs.NE
Differentiable plasticity: training plastic neural networks with backpropagation
Uber AI Labs（优步人工智能实验室）
我们如何才能建立代理，在他们最初的训练之后，快速有效地从经验中学习？在这里，我们从生物大脑的主要学习机制中获得灵感：突触可塑性，通过进化精心调整，以产生有效的终身学习。我们表明，可塑性，就像连接权重，可以优化梯度下降在大型（数百万参数）经常性网络与赫布塑性连接。首先，可以训练具有超过200万个参数的递归可塑性网络，以记忆和重建训练过程中看不到的新的高维1000+像素自然图像集。至关重要的是，传统的非可塑性递归网络无法解决这一任务。此外，经过训练的塑性网络还可以解决通用的元学习任务，如Omniglot任务，具有竞争力的结果和很少的参数开销。最后，在强化学习环境中，可塑性网络在迷宫探索任务中的表现优于非可塑性网络。我们的结论是，微分可塑性可能提供了一个强大的新方法来学习学习的问题。
2018-07-31 cs.LG cs.NE stat.ML
A Discrete Variational Recurrent Topic Model without the Reparametrization Trick
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了如何学习离散随机变量的神经主题模型-一个明确的模型每个单词的分配主题-使用神经变分推理，不依赖于随机反向传播来处理离散变量。我们利用的模型结合了神经方法的表达能力，用于表示文本序列与主题模型的能力，以捕捉全球，主题的连贯性。使用神经变分推理，我们在多个语料库中表现出改进的困惑和文档理解。我们检查先验参数的模型和变参数的影响，并展示了我们的方法可以竞争和超越一个流行的主题模型实现主题质量的自动测量。
2020-10-22 cs.LG
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
由于梯度消失，训练RNN学习长期依赖性是困难的。我们探索了一种基于显式记忆的替代解决方案，使用线性自编码器的序列，它允许最大限度地提高短期记忆，并且可以用封闭形式的解决方案来解决，而无需反向传播。我们引入了一个初始化模式，该模式预训练递归神经网络的权重以近似输入序列的线性自编码器，并展示了这种预训练如何更好地支持解决长序列的硬分类任务。我们测试我们的方法顺序和排列MNIST。我们表明，所提出的方法实现了更低的重建误差长序列和更好的梯度传播在微调阶段。
2020-11-05 cs.LG
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
大脑皮层在大脑中处理视觉、听觉和感觉数据，已知在其层内以及从高层到低层具有许多循环连接。但是，在使用神经网络的机器学习的情况下，通常假设严格的前馈架构适用于静态输入数据，例如图像，而递归网络主要用于处理顺序输入，例如语言。然而，不清楚静态输入数据的处理是否也受益于经常性连接。在这项工作中，我们引入并测试了一种新的循环神经网络的实现，该网络具有横向和反馈连接到深度学习中。这种对严格前馈结构的偏离阻止了使用标准误差反向传播算法来训练网络。因此，我们提供了一种算法，该算法在递归网络的隐式实现上实现反向传播算法，这与循环神经网络的最新实现不同。与当前的循环神经网络相比，我们的方法消除了由于许多迭代更新步骤而使用的长衍生物链，这使得学习的计算成本更低。事实证明，在单层隐式递归网络中存在递归层内连接可以大大提高神经网络的性能：单层隐式递归网络能够解决XOR问题，而具有单调递增激活函数的前馈网络则无法完成此任务。最后，我们证明了一个两层的隐式经常性架构导致更好的性能在回归任务的物理参数从阻尼摆的测量轨迹。
2020-10-20 cs.LG cs.NE
Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；Polytechnique Montréal（蒙特利尔理工学院）；HEC Montréal（蒙特利尔高等商学院）
时间反向传播（BPTT）的一个主要缺点是学习长期依赖性的困难，这是因为必须通过向前计算的每单步的向后传播信用信息。这使得BPTT在计算上不切实际，在生物学上也不可信。由于这个原因，通过时间的完全反向传播很少用于长序列，通过时间的截断反向传播被用作启发式。然而，这通常会导致对梯度的有偏估计，其中忽略了长期依赖性。为了解决这个问题，我们提出了一种替代算法，稀疏注意回溯，这也可能与大脑学习长期依赖关系的原则有关。稀疏注意回溯在过去的隐藏状态上学习注意力机制，并选择性地通过具有高注意力权重的路径反向传播。这允许模型学习长期依赖关系，同时仅回溯少量时间步，不仅从最近的过去，而且从相关的过去状态。
2017-11-07 cs.AI cs.LG cs.NE
Long Short-Term Memory Spiking Networks and Their Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
基于事件的神经形态系统的最新进展引起了人们对脉冲神经网络（SNN）的使用和发展的极大兴趣。然而，尖峰神经元的不可微性质使得SNN与传统的反向传播技术不兼容。尽管在训练传统深度神经网络（DNN）方面取得了重大进展，但对SNN的训练方法仍然知之甚少。在本文中，我们提出了一个新的框架来训练递归SNN。类似于递归神经网络（RNN）在DNN中学习时间序列模型的好处，我们开发了基于长短期记忆（LSTM）网络的SNN。我们展示了LSTM尖峰网络学习尖峰的时间和时间依赖性。我们还开发了一种基于LSTM的SNN的误差反向传播方法。在基于LSTM的SNN中开发的反向传播架构和方法使它们能够学习长期依赖关系，其结果与传统的LSTM相当。
2020-07-09 cs.LG cs.NE
Memory-based control with recurrent neural networks
Google Deepmind（谷歌DeepMind）
部分观测控制问题是强化学习的一个挑战性方面。我们扩展了两个相关的，无模型的连续控制算法-确定性的策略梯度和随机值梯度-解决部分观察域使用循环神经网络训练通过时间的反向传播。我们证明，这种方法，加上长短期记忆是能够解决各种各样的物理控制问题，表现出各种各样的内存需求。这些问题包括来自噪声传感器的信息的短期整合和系统参数的识别，以及需要在许多时间步长上保存信息的长期记忆问题。我们还证明了成功的结合探索和记忆问题的形式，一个简化版本的著名的莫里斯水迷宫任务。最后，我们证明了我们的方法可以通过直接从像素学习来处理高维观测。我们发现，经常性的确定性和随机政策能够学习类似的好的解决方案，这些任务，包括水迷宫的代理必须学习有效的搜索策略。
2015-12-14 cs.LG
Gradient-Free Training of Recurrent Neural Networks using Random Perturbations
Donders Institute for Brain, Cognition and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
本文提出将基于活动的节点扰动方法扩展到时间域，实现RNN的无梯度训练，性能与BPTT相当且优于标准扰动方法，适合神经形态计算。
2024-10-01 cs.LG
Fast Training of Recurrent Neural Networks with Stationary State Feedbacks
Université Paris Dauphine - PSL（巴黎多芬大学-PSL）；ESPCI PSL（巴黎高等物理化工学院-PSL）
本文提出用固定梯度反馈机制替代BPTT，基于平稳性假设和SSM原理定义反馈矩阵，在语言建模中降低训练成本并保持困惑度竞争力。
2025-03-29 cs.AI cs.LG
Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks
Telepath；New York University（纽约大学）
该研究开发递归正交滤波器（RQFs）并提出前瞻性输入编码修正，缓解深度连续时间循环网络的梯度衰减，在语音命令等任务上取得优异性能，验证了其参数高效性。
2026-11-10 cs.LG cs.NE q-bio.NC
Learning Input and Recurrent Weight Matrices in Echo State Networks
University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research（微软研究院）
回声状态网络（ESN）是一种特殊类型的时间深度网络模型，即递归神经网络（RNN），其中递归矩阵经过精心设计，递归矩阵和输入矩阵都是固定的。ESN使用输出单元的激活函数的线性度来简化输出矩阵的学习。在本文中，我们设计了一种特殊的技术，利用ESN的输出单元中的这种线性，来学习输入和递归矩阵。这在早期的ESN中还没有完成，因为它们在学习这些矩阵方面存在众所周知的困难。与一般RNN学习中的时间反向传播（BPTT）技术相比，我们提出的方法利用输出单元中激活函数的线性来制定RNN中各种矩阵之间的关系。这些关系导致成本函数的梯度具有解析形式并且更精确。这将使我们能够计算梯度，而不是像BPTT那样通过递归获得它们。电话状态分类的实验结果表明，与不学习这些矩阵的传统ESN相比，学习ESN中的输入矩阵和递归矩阵中的一个或两个会产生更好的结果，尤其是当使用更长的时间步长时。
2013-11-13 cs.LG
Koopman-informed recurrent neural networks
Munich Data Science Institute（慕尼黑数据科学研究所）；School of Computation, Information and Technology, Technical University of Munich（技术大学慕尼黑计算、信息与技术学院）；Interdisciplinary Center for Scientific Computing (IWR)（跨学科科学计算中心）；Department of Mathematics and Computer Science, Heidelberg University（海德堡大学数学与计算机科学系）
针对递归神经网络训练的梯度问题，引入基于柯普曼算子理论与随机特征网络结合的方法，不依赖梯度构建网络权重和偏差，经实验验证，该方法在预测精度相当的情况下，能显著缩短训练时间。
2026-07-10 cs.LG cs.NA math.NA
Training recurrent networks online without backtracking
我们引入“NoBackTrack”算法来训练动态系统的参数，如递归神经网络。该算法在在线、无记忆设置中工作，因此不需要通过时间的反向传播，并且是可扩展的，避免了相对于参数维持当前状态的全梯度的大的计算和存储器成本。该算法基本上保持，在每一个时间，在参数空间中的一个单一的搜索方向。该搜索方向的演变是部分随机的，并且以这样一种方式构造，即在每一时间提供损失函数相对于参数的梯度的无偏随机估计。因为梯度估计是无偏的，所以平均而言，随着时间的推移，参数会按照它应该的那样更新。然后，可以将得到的梯度估计馈送到轻量级卡尔曼滤波器，以产生改进的算法。对于递归神经网络，所得到的算法随着参数的数量线性缩放。小规模的实验证实了该方法的适用性，表明该算法中引入的梯度的随机近似对学习无害。特别是，当数据中依赖关系的时间跨度长于BPTT的截断跨度时，NoBackTrack的类卡尔曼版本优于时间反向传播（BPTT）。
2015-11-20 cs.LG cs.NE stat.ML
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Learning Longer-term Dependencies in RNNs with Auxiliary Losses
Google（谷歌）
尽管最近在训练递归神经网络（RNN）方面取得了进展，但捕获序列中的长期依赖性仍然是一个根本性的挑战。大多数方法使用时间反向传播（BPTT），这很难扩展到很长的序列。本文提出了一种简单的方法，通过向原始目标添加无监督辅助损失来提高RNN捕获长期依赖关系的能力。这种辅助损失迫使RNN重建先前的事件或预测序列中的下一个事件，使得截断的反向传播对于长序列是可行的，并且还改善了完整的BPTT。我们评估我们的方法在各种设置，包括逐像素的图像分类序列长度高达16\,000，和一个真正的文档分类基准。我们的结果突出了这种方法在竞争基线上的良好性能和资源效率，包括其他经常性模型和类似大小的Transformer。进一步的分析揭示了辅助损失对优化和正则化的有益影响，以及几乎没有反向传播的极端情况。
2018-06-13 cs.AI cs.LG stat.ML
Recurrent Neural Networks (RNNs): A gentle Introduction and Overview
Eberhard-Karls-University Tübingen（图宾根埃伯哈德·卡尔斯大学）
“语言建模和生成文本”、“语音识别“、“生成图像描述”或“视频标记”领域的最先进解决方案一直使用循环神经网络作为其方法的基础。因此，如果我们想跟上这些领域最近或即将出版的出版物，了解基本概念至关重要。在这项工作中，我们给出了一个简短的概述在循环神经网络领域的一些最重要的概念，使读者能够很容易地理解的基本面，如但不限于“通过时间的反向传播”或“长短期记忆单位”，以及一些最近的进展，如“注意力机制“或“指针网络”。我们还提供了必要时进一步阅读更复杂主题的建议。
2019-11-23 cs.LG stat.ML
Backpropagation on Dynamical Networks
The University of Western Australia（西澳大学）
本文提出一种基于时间反向传播的动态网络推断方法，利用神经网络近似局部节点动力学并交替回归网络权重，可仅从节点状态观测中同时推断连接结构与局部动力学，并在Lorenz、Chua和FitzHugh-Nagumo振子网络及非对称负耦合场景中验证了有效性。
2023-02-07 cs.LG math.DS nlin.CD
Exploring the Promise and Limits of Real-Time Recurrent Learning
Center for Brain Science, Harvard University（哈佛大学脑科学中心）；The Swiss AI Lab, IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室（隶属于瑞士意大利语区大学和瑞士应用科学大学））；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能倡议）
本文研究结合RTRL与策略梯度的actor-critic方法，利用逐元素循环架构实现无近似RTRL，并在DMLab等环境中以更少训练帧达到或超过IMPALA、R2D2基线，同时揭示多层复杂度等局限。
2024-02-28 cs.LG
Sheaf Cohomology of Linear Predictive Coding Networks
Sakana AI
该研究将线性预测编码（PC）网络建模为胞腔层，揭示其推理与层拉普拉斯扩散的关系，用层上同调分析循环拓扑矛盾导致的学习停滞问题，为循环PC网络提供诊断工具和初始化设计原则。
2025-11-14 cs.LG
Self-attention as an attractor network: transient memories without backpropagation
University of Rome Sapienza（罗马智慧大学）
本文提出将自注意力层表示为局部能量项的导数，利用与伪似然的类比设计无需反向传播训练的循环模型，为从物理学视角理解Transformers提供了新的吸引子网络框架。
2024-09-24 cond-mat.dis-nn cs.LG
Spike-based computation using classical recurrent neural networks
Montefiore Institute, University of Liege（列日大学蒙泰菲奥雷研究所）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
本文提出一种可微的脉冲循环单元Spiking Recurrent Cell，通过修改经典RNN动力学实现基于事件的通信，使普通反向传播可训练深度脉冲网络，并在MNIST等基准上取得与其他脉冲网络相当的性能。
2024-05-06 cs.LG cs.NE
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich（苏黎世联邦理工学院）
学习长期依赖性是循环神经网络（RNN）的一个关键的长期挑战。分层循环神经网络（HRNN）被认为是一种很有前途的方法，因为长期依赖性是通过层次结构上下的捷径来解决的。然而，截断反向传播时间（TBPTT）的内存要求仍然阻止在非常长的序列上训练它们。在本文中，我们通过经验证明，在（深度）HRNN中，从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代，而不会损害网络的学习能力，在广泛的任务范围内。与标准TBPTT相比，通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
Meta Learning Backpropagation And Improving It
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；University of Lugano (USI)（卢加诺大学）；SUPSI（瑞士意大利语区高等专业学院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
对于利用神经网络（NN）的元学习，已经提出了许多概念，例如，学习重新编程快速权重、赫布可塑性、学习学习规则和Meta循环NN的NN。我们的变量共享元学习（VSML）统一了上述内容，并证明了NN中简单的权重共享和稀疏性足以以可重用的方式表达强大的学习算法（LA）。VSML的一个简单实现，其中神经网络的权重被微小的LSTM取代，允许仅通过在前向模式下运行来实现反向传播LA。它甚至可以Meta学习不同于在线反向传播的新LA，并推广到Meta训练分布之外的数据集，而无需显式梯度计算。内省表明，我们的Meta学习LA通过快速联想学习的方式，是从质量上不同于梯度下降。
2022-03-13 cs.AI cs.LG cs.NE
Hybrid Backpropagation Parallel Reservoir Networks
University of Maryland（马里兰大学）；Department of Computer Science（计算机科学系）；Department of Physics（物理系）；Institute for Adv. Computer Studies（高级计算机研究所）
在许多现实世界的应用中，完全可微的RNN（如LSTM和GRU）已被广泛部署用于解决时间序列学习任务。这些网络通过时间反向传播进行训练，这在实践中可以很好地工作，但涉及及时进行梯度更新的网络的生物学上不现实的展开，计算成本高，并且难以调整。第二种范例，储备池计算，保持递归权重矩阵固定和随机。在这里，我们提出了一种新的混合网络，我们称之为混合反向传播并行回声状态网络（HBP-ESN），它将学习水库随机时间特征的有效性与具有批量归一化的深度神经网络的读出能力相结合。我们证明了我们的新网络在两个复杂的现实世界多维时间序列数据集上的性能优于LSTM和GRU，包括这些网络的多层“深度”版本：使用ChaLearn的骨架关键点进行手势识别，以及DEAP数据集用于EEG测量的情感识别。我们还表明，包括一个新的元环结构，我们称之为HBP-ESN M环，实现类似的性能，一个大水库，同时减少所需的内存的数量级。因此，我们提供了这种新的混合水库深度学习范式作为时间或顺序数据的RNN学习的新的替代方向。
2020-10-27 cs.LG cs.NE
Generalising E-prop to Deep Networks
Beren Millidge（伯恩·米勒）
本文提出将E-prop算法扩展到深度递归网络，通过引入新的递归关系实现对多层网络的在线学习。
2025-12-30 cs.LG cs.NE
Fully Bayesian Recurrent Neural Networks for Safe Reinforcement Learning
IBM Research UK（英国IBM研究院）；Sci-Tech Daresbury（达尔斯伯里科技中心）
强化学习（RL）已经在许多自治系统应用中展示了最先进的结果，然而许多底层算法依赖于黑盒预测。这导致这些系统的行为的可解释性差，引起了人们对它们在安全关键应用中的使用的关注。最近的工作表明，不确定性感知模型表现出更谨慎的行为，通过纳入模型的不确定性估计。在这项工作中，我们建立在概率反向传播的基础上，引入了一个完整的贝叶斯递归神经网络架构。我们将其应用在安全RL场景中，并证明所提出的方法显着优于一种流行的方法，用于在避碰任务中获得模型的不确定性。此外，我们证明了所提出的方法需要更少的训练，并且在计算资源和内存占用方面都比当前领先的方法更有效。
2019-11-26 cs.LG stat.ML
Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks
Institute for Informatics, LMU Munich（慕尼黑大学信息学研究所）
所有不同类型的循环神经网络（RNN）的共同点是对数据点之间的时间关系进行建模。当后续数据点之间没有直接关系时（例如，当数据点随机生成时），我们证明了RNN仍然能够通过使用标准的反向传播来记住一些数据点。然而，我们还表明，对于经典的RNN，LSTM和GRU网络，可以以这种方式复制的递归调用之间的数据点距离是非常有限的（与数据点之间的松散连接相比），并且受到RNN类型和大小的各种约束。这意味着相关数据点之间的距离存在一个硬限制（远低于信息论的限制），在此范围内，RNN仍然能够识别所述关系。
2022-12-20 cs.CV cs.LG
Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks
CWI（荷兰国家数学与计算机科学研究所）；IMEC（比利时微电子研究中心）
受大脑启发的类脑计算作为边缘AI的范例的出现，正在激励人们寻找在这种硬件上运行的高性能和高效的脉冲神经网络。然而，与深度学习中的经典神经网络相比，当前的脉冲神经网络在引人注目的领域缺乏竞争力。在这里，对于顺序和流式任务，我们演示了一种新型的自适应尖峰递归神经网络（SRNN）与其他脉冲神经网络相比，如何能够实现最先进的性能，并且几乎达到或超过经典循环神经网络（RNN）的性能，同时表现出稀疏的活动。由此，我们计算出SRNN在更困难的任务上比经典RNN的能量提高了$>$ 100倍。为了实现这一目标，我们将标准和自适应多时间尺度尖峰神经元建模为自循环神经单元，并利用PyTorch深度学习框架中的代理梯度和自动微分来有效地实现时间反向传播，包括学习重要的尖峰神经元参数，以使我们的尖峰神经元适应任务。
2020-06-16 cs.LG cs.NE
Recurrent Kernel Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Université Lyon 1（里昂第一大学）；Laboratoire de Biométrie et Biologie Evolutive UMR 5558（生物统计与进化生物学实验室 UMR 5558）
子串核是表示生物序列或文本的经典工具。然而，当大量的注释数据可用时，允许端到端训练的模型（例如神经网络）通常是优选的。最近，递归神经网络（RNN）和子串核之间的联系已经被绘制出来，通过正式表明具有特定激活函数的RNN是再生核希尔伯特空间（RKHS）中的点。在本文中，我们通过推广卷积核网络来重新审视这一联系-最初与失配核的放松有关-来模拟序列中的间隙。它产生了一种新型的递归神经网络，可以通过反向传播进行端到端的训练，也可以通过使用核近似技术进行无监督训练。我们的实验表明，我们的方法非常适合生物序列，它优于现有的蛋白质分类任务的方法。
2019-10-17 cs.LG stat.ML
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York（纽约城市学院）；Biomedical Engineering Department（生物医学工程系）
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题，本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构，通过递归前向传播算法实现自监督学习，从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Convergence Analysis of Real-time Recurrent Learning (RTRL) for a class of Recurrent Neural Networks
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics & Statistics, Boston University（波士顿大学数学与统计系）
该研究针对截断反向传播时间算法在长序列RNN训练中梯度近似误差大的问题，证明了实时循环学习（RTRL）算法对一类RNN的收敛性，通过数值研究验证理论，并给出其在金融限价订单簿数据中的应用示例。
2025-01-14 cs.LG math.PR stat.ML
How to Train Your Wide Neural Network Without Backprop: An Input-Weight Alignment Perspective
Massachusetts Institute of Technology（麻省理工学院）
最近的工作已经研究了在神经切线核（NTK）制度中训练的宽神经网络的理论和经验性质。考虑到生物神经网络比人工神经网络要广泛得多，我们认为NTK域宽神经网络是生物神经网络的一个可能的模型。利用NTK理论，我们从理论上证明了梯度下降驱动分层权重更新，这些更新与由误差加权的输入活动相关性一致，并从经验上证明了该结果在有限宽度的网络中也成立。对齐结果使我们能够制定一系列生物动机，反向传播自由学习规则，理论上相当于无限宽度网络中的反向传播。我们在前馈和递归神经网络的基准问题上测试了这些学习规则，并在广泛的网络中展示了与反向传播相当的性能。所提出的规则是特别有效的低数据制度，这是常见的生物学习环境。
2022-07-13 cs.LG stat.ML
Revising the Structure of Recurrent Neural Networks to Eliminate Numerical Derivatives in Forming Physics Informed Loss Terms with Respect to Time
Sharif University of Technology（谢里夫理工大学）
本研究提出互区间循环神经网络MI-RNN，通过修改传统RNN结构、重叠时间区间并引入条件隐藏状态与遗忘因子，用反向传播替代数值导数计算时间相关物理信息损失，在三类PDE基准问题上精度显著优于现有RNN模型。
2024-09-16 cs.LG
When Learning Hurts: Fixed-Pole RNN for Real-Time Online Training
dept. of EECS, MIT（麻省理工学院电子工程与计算机科学系）
本文分析了固定极点RNN在数据受限的实时学习场景中优于学习极点的原因，展示了其在低训练复杂度下的优越性能。
2026-02-25 cs.LG
Efficient LSTM Training with Eligibility Traces
University of Tübingen（图宾根大学）
训练递归神经网络主要通过时间反向传播（BPTT）来实现。然而，从生物学和计算的角度来看，该算法不是最佳解决方案。一个更有效的和生物学上合理的替代BPTT是e-prop。我们调查的适用性e-prop的长短期记忆（LSTM），监督和强化学习（RL）的任务。我们表明，e-prop是一个合适的优化算法LSTM通过比较它的两个基准监督学习的BPTT。这证明了e-prop即使对于几百个时间步的长序列问题也可以实现学习。我们介绍的扩展，提高性能的电子道具，这可以部分地应用到其他网络架构。在这些扩展的帮助下，我们表明，在某些条件下，电子道具可以优于BPTT的两个基准之一，监督学习。最后，我们提供了在深度递归Q学习领域中将e-prop集成到RL的概念证明。
2022-09-30 cs.LG
Training Recurrent Neural Networks as a Constraint Satisfaction Problem
University of Nevada, Reno（内华达大学里诺分校）
本文提出了一种新的方法来训练人工神经网络使用解决约束满足问题（CSP）的技术。商梯度系统（QGS）是求解CSP的一种基于概率的方法。本研究将神经网络的训练集转换成CSP，并使用QGS来求解。QGS通过跟踪非线性动力系统的轨迹来找到优化问题的全局最小值，并且不会停止在优化问题的局部最小值处。李雅普诺夫理论被用来证明的渐近稳定性的解决方案和不存在的测量误差。数值例子说明了所提出的方法的有效性，并比较它的遗传算法和误差反向传播。
2018-05-14 cs.LG eess.SP stat.ML
Regularizing Recurrent Networks - On Injected Noise and Norm-based Methods
Technische Universität München（慕尼黑工业大学）
在过去的几十年里，并行处理的进步导致了多层感知器（MLP）应用和深度学习的激增。递归神经网络（RNN）通过提供一种处理序列数据的方法，为前馈MLP提供了额外的表示能力。然而，RNN很难使用传统的误差反向传播方法进行训练，因为很难将许多时间步长上的输入相关联。来自MLP领域的正则化方法，如dropout和噪声权重训练，在简单的RNN上没有得到充分的应用和测试。此外，已经提出了解决方案来改善RNN的收敛性，但不足以改善其长期依赖性记忆能力。在这项研究中，我们的目标是实证评估复调音乐数据集上RNN的记忆和泛化能力。这些模型使用注入噪声、随机丢弃、基于范数的正则化器进行训练，并与初始化良好的普通RNN和快速丢弃等高级正则化方法进行比较。我们得出结论，有证据表明，噪声训练并不能提高性能，这是我们之前在RNN优化方面的一些工作所证明的。
2014-10-21 cs.LG stat.ML
Efficient Real Time Recurrent Learning through combined activity and parameter sparsity
Institute for Neural Computation, Ruhr University Bochum（波鸿鲁尔大学神经计算研究所）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
时间反向传播（BPTT）是训练递归神经网络（RNN）的标准算法，它需要分别针对推理和学习的前向和后向传递进行单独的模拟阶段。此外，BPTT需要存储阶段之间网络状态的完整历史，内存消耗与输入序列长度成比例增长。这使得BPTT不适合在线学习，并提出了一个挑战，实现低资源的实时系统。实时递归学习（RTRL）允许在线学习，并且所需内存的增长与序列长度无关。然而，RTRL的计算成本非常高，与状态大小的四次方成比例地增长，使得RTRL对于除了最小的网络之外的所有网络都是计算上难以处理的。在这项工作中，我们表明，经常性的网络表现出高活动稀疏性可以降低RTRL的计算成本。此外，结合活动和参数稀疏性可以导致计算和内存成本的显着节省，使RTRL实用。与以前的工作不同，RTRL的效率的提高可以在不使用任何近似的学习过程中实现。
2023-03-10 cs.AI cs.LG
Bayesian Recurrent Neural Networks
DeepMind（深度思维）
在这项工作中，我们探讨了一个简单的变分贝叶斯方案的循环神经网络。首先，我们证明了通过时间截断反向传播的简单自适应可以在训练期间仅以少量额外计算成本产生良好质量的不确定性估计和优越的正则化，还可以将参数数量减少80%。其次，我们展示了一种新的后验近似如何进一步提高贝叶斯RNN的性能。我们将局部梯度信息纳入近似后验，使其围绕当前批次统计数据进行锐化。我们展示了这种技术是如何不排他的循环神经网络，可以更广泛地应用于训练贝叶斯神经网络。我们还从经验上证明了贝叶斯RNN在语言建模基准和图像描述任务上优于传统RNN，并展示了这些方法中的每一种如何改进我们的模型，而不是各种其他训练它们的方案。我们还介绍了一个新的基准研究语言模型的不确定性，使未来的方法可以很容易地进行比较。
2019-05-09 cs.LG stat.ML
Unsupervised Reservoir Computing for Solving Ordinary Differential Equations
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
使用无监督神经网络求解微分方程引起了人们的兴趣。现有的方法都是基于前馈网络的，而递归神经网络微分方程求解器还未见报道。我们介绍了一个无监督的储备池计算（RC），回声状态递归神经网络能够发现近似的解决方案，满足常微分方程（ODE）。我们提出了一种方法来计算时间导数的递归神经网络输出，而不使用反向传播。RC的内部权重是固定的，而只有线性输出层被训练，从而产生有效的训练。然而，RC性能强烈依赖于找到最佳超参数，这是一个计算昂贵的过程。我们使用贝叶斯优化，有效地发现最优集在高维超参数空间和数值表明，一组是强大的，可以用来解决不同的初始条件和时间范围的ODE。在无反向传播学习过程中，推导出求解一阶线性方程组的最优输出权的封闭形式公式。我们将RC方法扩展到求解非线性常微分方程组，使用一种由梯度下降和贝叶斯优化组成的混合优化方法。线性和非线性方程组的评价证明了RC ODE求解器的效率。
2021-08-25 cs.LG cs.NE physics.comp-ph
HyperNetworks
Google Brain（谷歌大脑）
这项工作探讨了超网络：一种使用一个网络（也称为超网络）来为另一个网络生成权重的方法。超网络提供了一种类似于自然界中发现的抽象：基因型（超网络）和表型（主网络）之间的关系。虽然它们也让人想起进化中的HyperNEAT，但我们的超网络是通过反向传播进行端到端训练的，因此通常更快。这项工作的重点是使超网络对深度卷积网络和长周期网络有用，其中超网络可以被视为跨层权重共享的放松形式。我们的主要结果是，超网络可以为LSTM生成非共享权重，并在各种序列建模任务上实现接近最先进的结果，包括字符级语言建模，手写生成和神经机器翻译，挑战递归网络的权重共享范式。我们的研究结果还表明，与最先进的基线模型相比，应用于卷积网络的超网络在图像识别任务中仍然取得了可观的结果，同时需要更少的可学习参数。
2016-12-01 cs.LG
Reversible Recurrent Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
循环神经网络（RNN）在处理顺序数据方面提供了最先进的性能，但是训练是存储密集型的，限制了可以训练的RNN模型的灵活性。可逆RNN-隐藏到隐藏转换可以逆转的RNN-提供了一条减少训练内存需求的途径，因为隐藏状态不需要存储，而是可以在反向传播过程中重新计算。我们首先证明了完全可逆的RNN，它不需要存储隐藏的激活，从根本上是有限的，因为它们不能忘记隐藏状态的信息。然后，我们提供了一个存储少量比特的方案，以允许完全逆转遗忘。我们的方法实现了与传统模型相当的性能，同时将激活存储器成本降低了10- 15倍。我们将我们的技术扩展到基于注意力的序列到序列模型，在那里它保持性能，同时在编码器中将激活记忆成本降低5- 10倍，在解码器中降低10- 15倍。
2018-10-25 cs.LG stat.ML
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU（乌克兰国家科学院建模系统研究所）；Center for Cybernetics（控制论中心）
梯度消失（和爆炸）效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中，我们提出了一种新的通用技术，使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程，我们可以构建用于随机梯度下降（SGD）训练的小批量，即使对于非常复杂的任务，也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数，并证明其正确性理论。为了实验性地检查我们的框架，我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测（时间）序列中事件之间的联系，范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Riemannian metrics for neural networks II: recurrent networks and learning symbolic data sequences
递归神经网络是用于序列数据的强大模型，能够表示序列中的复杂依赖关系，这是诸如隐马尔可夫模型之类的简单模型无法处理的。然而，他们是出了名的难训练。在这里，我们介绍了一个训练过程，使用梯度上升的黎曼度量：这产生了一个算法独立于设计选择，如编码的参数和单位活动。这种度量梯度上升被设计为具有接近于稀疏连接网络的时间反向传播的算法成本。我们使用这个过程的门控泄漏神经网络（GLNN），一个变种的经常性神经网络的架构灵感来自有限自动机和进化方程的灵感来自连续时间网络。用黎曼梯度训练的GLNN被证明可以有效地捕获合成问题中的各种结构：上下文无关文法中的基本块嵌套（自然语言的一个重要特征，但很难学习），多个独立马尔可夫类型关系的交叉点，或远距离关系，如距离XOR问题。这种方法不需要调整网络结构或初始参数：所使用的网络是一个稀疏的随机图和初始化是相同的所有考虑的问题。
2015-02-03 cs.LG cs.NE
Low-pass Recurrent Neural Networks - A memory architecture for longer-term correlation discovery
DeepMind Technologies（深度思维科技）
执行复杂任务的强化学习（RL）代理必须能够记住相当长时间间隔内的观察和动作。在学习的最初阶段尤其如此，因为探索性行为会增加具体行动与其效果之间的延迟。许多新的或流行的方法来学习这些遥远的相关性采用反向传播通过时间（BPTT），但这种技术需要存储足够长的观察轨迹，以跨越因果之间的间隔。除了内存需求，学习动态，如消失梯度和缓慢的收敛，由于不频繁的权重更新可以降低BPTT的实用性;同时，虽然在线循环网络学习是一个发展中的话题，大多数方法都不够有效，可以作为替代品。我们提出了一种简单，有效的记忆策略，可以扩展BPTT可以学习的窗口，而不需要更长的跟踪。我们探索这种方法经验上的一些任务，并讨论其影响。
2018-05-13 cs.AI cs.LG stat.ML
