On Training Recurrent Networks with Truncated Backpropagation Through Time in Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
递归神经网络已经成为许多语音和语言处理任务的主要模型。然而，我们对递归网络的行为和递归网络所能实现的函数类知之甚少。此外，在培训期间使用的化学方法使分析复杂化。在本文中，我们研究了递归网络在语音识别中学习长期依赖性的能力。我们考虑两种解码方法，在线和批量解码，并显示类的功能，解码方法对应。然后，我们将批量解码与一种流行的递归网络训练方法（通过时间截断的反向传播）联系起来。改变解码方法限制了递归网络可以用于预测的过去历史的数量，使我们能够分析它们的记忆能力。从经验上讲，我们利用长期依赖的亚语音状态，音素和单词，并显示如何设计决策，如解码方法，前瞻，上下文框架和连续预测，表征行为的经常性网络。最后，我们在马尔可夫过程和消失梯度之间建立了联系。这些结果对研究语音数据的长期依赖性以及循环网络如何学习这些特性具有重要意义。
2018-10-31 cs.CL cs.LG cs.SD
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich（苏黎世联邦理工学院）
学习长期依赖性是循环神经网络（RNN）的一个关键的长期挑战。分层循环神经网络（HRNN）被认为是一种很有前途的方法，因为长期依赖性是通过层次结构上下的捷径来解决的。然而，截断反向传播时间（TBPTT）的内存要求仍然阻止在非常长的序列上训练它们。在本文中，我们通过经验证明，在（深度）HRNN中，从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代，而不会损害网络的学习能力，在广泛的任务范围内。与标准TBPTT相比，通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
RNNbow: Visualizing Learning via Backpropagation Gradients in Recurrent Neural Networks
Tufts University（塔夫茨大学）；Microsoft Research（微软研究院）
我们提出了RNNbow，一个交互式工具，用于在循环神经网络的反向传播训练过程中可视化梯度流。RNNbow是一个Web应用程序，它显示来自序列元素邻域中的递归神经网络（RNN）单元的相对梯度贡献。我们描述了时间反向传播（BPTT）的计算，该计算跟踪逐项梯度，或从序列的一个元素到序列的先前元素的梯度贡献。通过可视化梯度，而不是激活，RNNbow提供了对网络如何学习的洞察。我们用它来探索RNN的学习，RNN被训练成用C程序设计语言生成代码。我们展示了它如何揭示对消失梯度的洞察以及RNN在语料库中工作时训练的演变。
2019-07-29 cs.LG cs.NE
Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；Polytechnique Montréal（蒙特利尔理工学院）；HEC Montréal（蒙特利尔高等商学院）
时间反向传播（BPTT）的一个主要缺点是学习长期依赖性的困难，这是因为必须通过向前计算的每单步的向后传播信用信息。这使得BPTT在计算上不切实际，在生物学上也不可信。由于这个原因，通过时间的完全反向传播很少用于长序列，通过时间的截断反向传播被用作启发式。然而，这通常会导致对梯度的有偏估计，其中忽略了长期依赖性。为了解决这个问题，我们提出了一种替代算法，稀疏注意回溯，这也可能与大脑学习长期依赖关系的原则有关。稀疏注意回溯在过去的隐藏状态上学习注意力机制，并选择性地通过具有高注意力权重的路径反向传播。这允许模型学习长期依赖关系，同时仅回溯少量时间步，不仅从最近的过去，而且从相关的过去状态。
2017-11-07 cs.AI cs.LG cs.NE
Fourier-Enhanced Recurrent Neural Networks for Electrical Load Time Series Downscaling
Department of Statistics University of Chicago Chicago, IL, USA（统计学系 芝加哥大学）；Computer Science Division Argonne National Laboratory（计算机科学 division 阿贡国家实验室）
本文提出一种结合傅里叶特征和自注意力机制的递归神经网络，用于提升电力负荷时间序列降尺度的精度与性能。
2025-11-27 cs.LG stat.ML
Recurrent World Models Facilitate Policy Evolution
Google Brain（谷歌大脑）；NNAISENSE；The Swiss AI Lab, IDSIA (USI & SUPSI)（瑞士人工智能实验室IDSIA（提契诺大学与瑞士南方应用科学大学））
生成递归神经网络以无监督的方式快速训练，以通过压缩的时空表示对流行的强化学习环境进行建模。世界模型的提取的特征被馈送到通过进化训练的紧凑和简单的策略中，在各种环境中实现最先进的结果。我们还完全在由其内部世界模型生成的环境中训练我们的代理，并将此策略转移回实际环境中。论文互动版，网址：https://worldmodels.github.io
2018-09-04 cs.LG stat.ML
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
大脑皮层在大脑中处理视觉、听觉和感觉数据，已知在其层内以及从高层到低层具有许多循环连接。但是，在使用神经网络的机器学习的情况下，通常假设严格的前馈架构适用于静态输入数据，例如图像，而递归网络主要用于处理顺序输入，例如语言。然而，不清楚静态输入数据的处理是否也受益于经常性连接。在这项工作中，我们引入并测试了一种新的循环神经网络的实现，该网络具有横向和反馈连接到深度学习中。这种对严格前馈结构的偏离阻止了使用标准误差反向传播算法来训练网络。因此，我们提供了一种算法，该算法在递归网络的隐式实现上实现反向传播算法，这与循环神经网络的最新实现不同。与当前的循环神经网络相比，我们的方法消除了由于许多迭代更新步骤而使用的长衍生物链，这使得学习的计算成本更低。事实证明，在单层隐式递归网络中存在递归层内连接可以大大提高神经网络的性能：单层隐式递归网络能够解决XOR问题，而具有单调递增激活函数的前馈网络则无法完成此任务。最后，我们证明了一个两层的隐式经常性架构导致更好的性能在回归任务的物理参数从阻尼摆的测量轨迹。
2020-10-20 cs.LG cs.NE
Spike-Train Level Backpropagation for Training Deep Recurrent Spiking Neural Networks
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
脉冲神经网络（SNN）很好地支持时空学习和节能的事件驱动硬件神经形态处理器。递归脉冲神经网络（RSNNs）是一类重要的神经网络，具有强大的计算能力。然而，RSNN的实际应用受到培训挑战的严重限制。生物启发的无监督学习在提高RSNN性能方面的能力有限。另一方面，现有的反向传播（BP）方法遭受高复杂性展开的时间，消失和爆炸梯度，以及近似分化的不连续尖峰活动时，应用到RSNN。为了能够在定义良好的损失函数下对RSNN进行监督训练，我们提出了一种新的用于训练深度RSNN的Spike-Train级别的反向传播（ST-RSBP）算法。建议的ST-RSBP直接计算的梯度率编码的损失函数定义在输出层的网络w.r.t可调参数。ST-RSBP的可扩展性是通过所提出的尖峰训练级计算来实现的，在此期间，SNN的时间效应在BP的前向和后向传递中被捕获。我们的ST-RSBP算法可以广泛应用于具有单个递归层的RSNN或具有多个前馈和递归层的深度RSNN。基于具有挑战性的语音和图像数据集，包括TI 46、N-TIDIGITS、Fashion-MNIST和MNIST，ST-RSBP能够训练RSNN，其精度超过当前最先进的SNN BP算法和传统的非尖峰深度学习模型。
2019-11-03 cs.LG cs.NE
Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）
Dirichlet Belief Network~（DirBN）是最近提出的一种学习对象可解释的深层潜在表征的方法。在这项工作中，我们利用其可解释的建模架构，并提出了一个深度的动态概率框架-递归狄利克雷信念网络~（递归DBN）-研究可解释的隐藏结构的动态关系数据。所提出的递归DBN具有以下优点：（1）它为时间步内和跨时间步的对象推断可解释和有组织的分层潜在结构;（2）它能够实现递归长期时间依赖建模，其性能优于大多数动态概率框架中的一阶马尔可夫描述。此外，我们开发了一种新的推理策略，首先向上和向后传播潜计数，然后向下和向前样本变量，使有效的吉布斯采样的递归DBN。我们将递归DBN应用于动态关系数据问题。在真实数据上的大量实验结果验证了递归DBN在可解释的潜在结构发现和改进的链接预测性能方面优于现有模型。
2020-04-29 cs.LG stat.ML
Recurrent Neural Networks (RNNs): A gentle Introduction and Overview
Eberhard-Karls-University Tübingen（图宾根埃伯哈德·卡尔斯大学）
“语言建模和生成文本”、“语音识别“、“生成图像描述”或“视频标记”领域的最先进解决方案一直使用循环神经网络作为其方法的基础。因此，如果我们想跟上这些领域最近或即将出版的出版物，了解基本概念至关重要。在这项工作中，我们给出了一个简短的概述在循环神经网络领域的一些最重要的概念，使读者能够很容易地理解的基本面，如但不限于“通过时间的反向传播”或“长短期记忆单位”，以及一些最近的进展，如“注意力机制“或“指针网络”。我们还提供了必要时进一步阅读更复杂主题的建议。
2019-11-23 cs.LG stat.ML
Recurrent Kalman Networks: Factorized Inference in High-Dimensional Deep Feature Spaces
University of Lincoln（林肯大学）；University of Birmingham（伯明翰大学）；Lancaster University（兰卡斯特大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
为了将不确定性估计集成到深度时间序列建模中，卡尔曼滤波器（KF）（Kalman et al.，1960）已经与深度学习模型集成，然而，这样的方法通常依赖于近似推理技术，例如变分推理，这使得学习更复杂并且由于近似误差而通常可扩展性较低。我们提出了一种新的深度卡尔曼滤波方法，可以使用反向传播以端到端的方式直接学习，而无需额外的近似。我们的方法使用了高维分解的潜在状态表示，卡尔曼更新简化为标量操作，从而避免了难以反向传播，计算量大，可能不稳定的矩阵求逆。此外，我们使用局部线性动态模型，有效地传播的潜在状态到下一个时间步。由此产生的网络架构，我们称之为递归卡尔曼网络（RKN），可用于任何时间序列数据，类似于LSTM（Hochreiter & Schmidhuber，1997），但使用显式表示不确定性。如我们的实验所示，RKN获得比LSTM或门控递归单元（GRU）更准确的不确定性估计（Cho等人，2014），同时还显示出略微改善的预测性能，并且在图像填补任务上优于各种最近的生成模型。
2019-05-17 cs.LG stat.ML
Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form
NVIDIA（英伟达）
本文研究了前馈和循环神经网络的线性代数理论，推导了Hessian的精确表达式，并展示了权重梯度和Hessian的矩阵形式。
2017-09-16 cs.AI cs.LG cs.NA
Scalable Learning in Structured Recurrent Spiking Neural Networks without Backpropagation
Department of Electrical and Computer Engineering（电气与计算机工程系）；Worcester Polytechnic Institute（沃斯特理工学院）
本文提出一种结构化多层递归SNN架构，通过局部密集递归层与稀疏小世界长程连接相结合，实现无需反向传播的监督学习，展示了稀疏全局通信和纯局部突触更新的高效学习方法。
2026-05-01 cs.AI cs.LG cs.NE
Continual Learning of Recurrent Neural Networks by Locally Aligning Distributed Representations
Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
基于循环神经网络的时间模型已被证明在各种应用中非常强大。然而，训练这些模型通常依赖于通过时间的反向传播，这需要在许多时间步长上展开网络，使得进行信用分配的过程更具挑战性。此外，反向传播本身的性质不允许使用不可微的激活函数，并且本质上是顺序的，使得底层训练过程的并行化变得困难。在这里，我们提出了并行时间神经编码网络（P-TNCN），这是一个受生物启发的模型，由我们称为局部表示对齐的学习算法训练。它旨在解决困扰通过时间反向传播训练的递归网络的困难和问题。该体系结构既不需要在时间上展开，也不需要其内部激活函数的导数。我们将我们的模型和学习过程与其他通过时间的反向传播方法（也往往是计算昂贵的）进行比较，包括实时循环学习，回声状态网络和无偏在线循环优化。我们表明，它优于这些序列建模基准，如弹跳MNIST，一个新的基准，我们表示为弹跳NotMNIST，和Penn Treebank。值得注意的是，在某些情况下，我们的方法可以通过时间以及诸如稀疏注意回溯的变体来优于完全反向传播。值得注意的是，P-TNCN的隐藏单元校正阶段允许它适应新的数据集，即使其突触权重保持固定（zero-shot自适应），并有助于在面对任务序列时保留先前的生成知识。我们目前的结果表明，P-TNCN的能力进行zero-shot适应和在线连续序列建模。
2019-08-11 cs.LG cs.NE
When Quantization Breaks Memory: Recurrent-State Write-Back in Low-Precision Temporal Inference
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Center for Modeling, Simulation, and Imaging in Medicine（医学建模、仿真与成像中心）；Department of Biomedical Engineering（生物医学工程系）
本文提出循环状态写回概念，发现低精度量化会导致循环网络估计荧光寿命参数的误差大幅上升，而误差反馈等机制可恢复精度，状态存储接口是量化循环推理的核心设计考量。
2026-09-07 cs.AI cs.LG physics.optics
Efficient recurrent architectures through activity sparsity and sparse back-propagation through time
Institute for Neural Computation, Ruhr University Bochum（波鸿鲁尔大学神经计算研究所）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Faculty of Electrical and Computer Engineering, Technische Universität Dresden（德累斯顿工业大学电气与计算机工程学院）
递归神经网络（RNN）非常适合解决资源受限系统中的序列任务，因为它们的表达能力和低计算要求。然而，仍然需要弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。在每个时间步将所有神经元的激活传播到每个连接的神经元所产生的存储器和计算需求，以及激活的顺序依赖性，导致训练和使用RNN的效率低下。我们提出了一种受生物神经元动力学启发的解决方案，使RNN单元之间的通信变得稀疏和离散。这使得具有时间反向传播（BPTT）的反向传递在计算上也是稀疏和高效的。我们的模型基于门控递归单元（GRU），将其扩展为发出离散事件的单元，用于由阈值触发的通信，以便在没有事件的情况下没有信息被传达给其他单元。我们从理论上证明了单元之间的通信，以及向前和向后传递所需的计算，与网络中的事件数量成比例。我们的模型在不影响任务性能的情况下实现了效率，与现实世界任务（包括语言建模）中最先进的递归网络模型相比，表现出了竞争力。动态活动稀疏机制也使我们的模型非常适合新的节能神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/上获得。
2023-03-09 cs.AI cs.LG cs.NE
Optimal Kronecker-Sum Approximation of Real Time Recurrent Learning
ETH Zurich（苏黎世联邦理工学院）
递归神经网络（RNN）的核心目标之一是学习序列数据中的长期依赖关系。然而，最流行的训练方法，通过时间截断反向传播（TBPTT），明确禁止学习超出截断范围的依赖关系。相比之下，在线训练算法实时的递归学习（RTRL）提供了未截断的梯度，具有不切实际的大计算成本的缺点。最近公布的方法通过提供RTRL的噪声近似来降低这些成本。提出了一种新的RTRL的近似算法--最优Kronecker和近似（OK）。我们证明了OK是最佳的一类近似RTRL，其中包括所有的方法发表至今。此外，我们表明，OK具有经验上可忽略的噪声：与以前的算法不同，它在现实世界的任务（字符级Penn TreeBank）中匹配TBPTT，并且可以利用在线参数更新在合成字符串记忆任务中优于TBPTT。代码在github上可用。
2019-05-17 cs.LG stat.ML
Recurrent Kernel Networks
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Université Lyon 1（里昂第一大学）；Laboratoire de Biométrie et Biologie Evolutive UMR 5558（生物统计与进化生物学实验室 UMR 5558）
子串核是表示生物序列或文本的经典工具。然而，当大量的注释数据可用时，允许端到端训练的模型（例如神经网络）通常是优选的。最近，递归神经网络（RNN）和子串核之间的联系已经被绘制出来，通过正式表明具有特定激活函数的RNN是再生核希尔伯特空间（RKHS）中的点。在本文中，我们通过推广卷积核网络来重新审视这一联系-最初与失配核的放松有关-来模拟序列中的间隙。它产生了一种新型的递归神经网络，可以通过反向传播进行端到端的训练，也可以通过使用核近似技术进行无监督训练。我们的实验表明，我们的方法非常适合生物序列，它优于现有的蛋白质分类任务的方法。
2019-10-17 cs.LG stat.ML
Fully Bayesian Recurrent Neural Networks for Safe Reinforcement Learning
IBM Research UK（英国IBM研究院）；Sci-Tech Daresbury（达尔斯伯里科技中心）
强化学习（RL）已经在许多自治系统应用中展示了最先进的结果，然而许多底层算法依赖于黑盒预测。这导致这些系统的行为的可解释性差，引起了人们对它们在安全关键应用中的使用的关注。最近的工作表明，不确定性感知模型表现出更谨慎的行为，通过纳入模型的不确定性估计。在这项工作中，我们建立在概率反向传播的基础上，引入了一个完整的贝叶斯递归神经网络架构。我们将其应用在安全RL场景中，并证明所提出的方法显着优于一种流行的方法，用于在避碰任务中获得模型的不确定性。此外，我们证明了所提出的方法需要更少的训练，并且在计算资源和内存占用方面都比当前领先的方法更有效。
2019-11-26 cs.LG stat.ML
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
University of Science and Technology of China（中国科学技术大学）
DeltaLog 是一种循环状态解码方案，通过延迟物化循环状态降低内存开销，在 GDN、KDA、RWKV6 上实现了更新内核加速、写流量减少及端到端服务速度提升。
2026-08-18 cs.DC cs.LG
Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks
University of Oxford（牛津大学）；MRC Brain Network Dynamics Unit（医学研究理事会脑网络动力学单元）；Hebei University of Technology（河北工业大学）
预测编码网络（PCNs）是大脑中信息处理的一种有影响力的模型。他们有吸引人的理论解释，并提供了一个单一的机制，占大脑的各种感知现象。另一方面，反向传播（BP）通常被认为是现代机器学习中最成功的学习方法。因此，令人兴奋的是，最近的工作制定了推理学习（IL），训练PCN近似BP。然而，存在几个剩余的关键问题：（i）IL是BP的近似，具有不现实/非平凡的要求，（ii）IL在单步权重更新中近似BP;在进行更多步骤的权重更新之后，它是否导致与BP相同的点是未知的，以及（iii）IL在计算上比BP显著更昂贵。为了解决这些问题，已经提出了IL的一种变体，其在全连接网络中严格等价于BP。在这项工作中，我们建立在这个结果的基础上，表明它也适用于更复杂的架构，即卷积神经网络和（多对一）循环神经网络。据我们所知，我们是第一个证明生物学上合理的算法能够在如此复杂的架构上精确地复制BP的准确性，弥合IL和BP之间的现有差距，并为PCN设置前所未有的性能，现在可以被认为是BP的有效替代品。
2021-03-05 cs.LG
Modeling The Intensity Function Of Point Process Via Recurrent Neural Networks
Shanghai Jiao Tong University（上海交通大学）；IBM Research – China（IBM中国研究院）；Georgia Tech（佐治亚理工学院）；East China Normal University（华东师范大学）
事件序列是由随机时间戳异步生成的，在应用程序中普遍存在。精确和任意的时间戳可以携带关于潜在动态的重要线索，并且使事件数据与以固定和相等的时间间隔索引的时间序列从根本上不同。一个表达的数学工具建模事件是点过程。许多点过程的强度函数包含两个分量：背景分量和历史分量。由于其固有的自发性，背景可以被视为时间序列，而另一个需要处理历史事件。在本文中，我们通过一个递归神经网络（RNN）来建模背景，其单元与时间序列索引对齐，而历史效应则由另一个RNN来建模，其单元与异步事件对齐，以捕获长期动态。具有事件类型和时间戳预测输出层的整个模型可以端到端训练。我们的方法从RNN的角度来看待点过程，并对其背景和历史效应进行建模。对于实用程序，我们的方法允许一个黑盒处理建模的强度，这往往是一个预定义的参数形式点过程。与此同时，端到端训练为在深度网络中重用现有的丰富技术以进行点流程建模打开了大门。我们将我们的模型应用于预测性维护问题，使用来自北美一家全球银行的1000多台ATM机的日志数据集。
2017-05-24 cs.AI cs.LG stat.ML
Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
递归脉冲神经网络（RSNNs）作为一类重要的脉冲神经网络（SNNs），具有强大的计算能力，被广泛应用于音频、文本等序列数据的处理。然而，大多数RSNN都有两个问题。1.由于缺乏体系结构指导，经常采用随机递归连接，这并不能保证良好的性能。2. RSNN的训练通常具有挑战性，需要检查可实现的模型精度。为了解决这些问题，我们提出了一种新型的RSNN，称为跳跃连接自递归SNN（ScSr-SNN）。ScSr-SNN中的递归是通过向尖峰神经元添加自递归连接来以刻板的方式引入的，这实现了局部记忆。网络动态丰富的非相邻层之间的跳跃连接。ScSr-SNN由简化的自递归和跳跃连接构建，能够实现类似于更复杂的RSNN的递归行为，而由于网络的主要前馈性质，可以更直接地计算误差梯度。此外，我们提出了一种新的反向传播（BP）方法，称为反向传播内在可塑性（BIP），通过训练内在模型参数来进一步提高ScSr-SNN的性能。与根据神经元活动调整神经元的内在参数的标准内在可塑性规则不同，除了突触权重训练之外，所提出的BIP方法基于定义良好的全局损失函数的反向传播误差梯度来优化内在参数。基于具有挑战性的语音和神经形态语音数据集，包括TI46-Alpha，TI46-Digits和N-TIDIGITS，与通过最先进的BP方法训练的其他类型的RSNN相比，所提出的ScSr-SNN可以将性能提高高达2.55%。
2020-10-23 cs.LG cs.NE
Stable and expressive recurrent vision models
Carney Institute for Brain Science（卡尼脑科学研究所）；Department of Cognitive Linguistic & Psychological Sciences（认知语言与心理科学系）；Brown University（布朗大学）
灵长类动物的视觉依赖于可靠感知的循环处理。越来越多的文献还表明，循环连接提高了经典计算机视觉挑战中视觉模型的学习效率和泛化能力。那么，为什么当前的大规模挑战由前馈网络主导？我们认为，递归视觉模型的有效性是由用于训练它们的标准算法“时间反向传播”（BPTT）来检验的，该算法对于训练N步模型具有O（N）的内存复杂度。因此，递归视觉模型设计受到内存约束的限制，迫使人们在与领先的前馈模型的巨大容量竞争或试图通过粒度和复杂的动态来弥补这一缺陷之间做出选择。在这里，我们开发了一种新的学习算法，“承包商递归反向传播”（C-RBP），它通过实现恒定的O（1）的内存复杂度与递归处理的步骤来解决这些问题。我们证明了使用C-RBP训练的递归视觉模型可以在BPTT训练的模型无法检测的合成轮廓跟踪任务中检测到长距离空间依赖性。我们进一步表明，用C-RBP训练的递归视觉模型解决大规模全景分割MS-COCO挑战的性能优于领先的前馈方法，自由参数更少。C-RBP是一种通用学习算法，适用于任何可以受益于扩展循环动态的应用程序。代码和数据可在https://github.com/c-rbp上获得。
2020-10-22 cs.CV cs.LG
Learning The Sequential Temporal Information with Recurrent Neural Networks
XRVision Research and Development center（XRVision研发中心）
递归神经网络是处理自然语言、声音、时间序列数据等序列数据的最有效和最有前途的人工神经网络算法之一。与传统的前馈网络不同，递归网络具有固有的反馈回路，允许存储时间上下文信息并将信息的状态传递给整个事件序列。这有助于在许多重要任务中实现最先进的性能，例如语言建模、股票市场预测、图像描述、语音识别、机器翻译和对象跟踪等，然而，训练完全连接的RNN和管理梯度流是一个复杂的过程。许多研究都是针对上述局限性进行的。本文旨在提供有关递归神经元的简要细节，它的变化和训练全递归神经网络的行程和技巧。这项审查工作是作为我们的IPO工作室软件模块“多目标跟踪”的一部分进行的。
2018-07-08 cs.CV cs.LG stat.ML
Differentiable plasticity: training plastic neural networks with backpropagation
Uber AI Labs（优步人工智能实验室）
我们如何才能建立代理，在他们最初的训练之后，快速有效地从经验中学习？在这里，我们从生物大脑的主要学习机制中获得灵感：突触可塑性，通过进化精心调整，以产生有效的终身学习。我们表明，可塑性，就像连接权重，可以优化梯度下降在大型（数百万参数）经常性网络与赫布塑性连接。首先，可以训练具有超过200万个参数的递归可塑性网络，以记忆和重建训练过程中看不到的新的高维1000+像素自然图像集。至关重要的是，传统的非可塑性递归网络无法解决这一任务。此外，经过训练的塑性网络还可以解决通用的元学习任务，如Omniglot任务，具有竞争力的结果和很少的参数开销。最后，在强化学习环境中，可塑性网络在迷宫探索任务中的表现优于非可塑性网络。我们的结论是，微分可塑性可能提供了一个强大的新方法来学习学习的问题。
2018-07-31 cs.LG cs.NE stat.ML
Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
在本文中，我们专注于直接反馈对齐（DFA）算法的改进，并将DFA的使用扩展到卷积和递归神经网络（CNN和RNN）。尽管DFA算法在生物学上是合理的，并且具有高速训练的潜力，但由于CNN和RNN训练的准确性较低，它尚未被认为是反向传播（BP）的替代品。在这项工作中，我们提出了一种新的DFA算法，用于BP级精确的CNN和RNN训练。首先，我们将网络分成几个模块，并在模块内应用DFA算法。其次，应用具有稀疏向后权重的DFA。在CNN情况下，它带有一种扩张卷积的形式，在RNN情况下，它带有一种稀疏矩阵乘法的形式。此外，通过群卷积，CNN的误差传播方法变得更简单。最后，混合DFA将CNN和RNN训练的准确性提高到BP级，同时利用DFA算法的并行性和硬件效率。
2020-06-23 cs.LG cs.NE stat.ML
Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks
Institute for Informatics, LMU Munich（慕尼黑大学信息学研究所）
所有不同类型的循环神经网络（RNN）的共同点是对数据点之间的时间关系进行建模。当后续数据点之间没有直接关系时（例如，当数据点随机生成时），我们证明了RNN仍然能够通过使用标准的反向传播来记住一些数据点。然而，我们还表明，对于经典的RNN，LSTM和GRU网络，可以以这种方式复制的递归调用之间的数据点距离是非常有限的（与数据点之间的松散连接相比），并且受到RNN类型和大小的各种约束。这意味着相关数据点之间的距离存在一个硬限制（远低于信息论的限制），在此范围内，RNN仍然能够识别所述关系。
2022-12-20 cs.CV cs.LG
Backpropagation Algorithms and Reservoir Computing in Recurrent Neural Networks for the Forecasting of Complex Spatiotemporal Dynamics
ETH Zürich（苏黎世联邦理工学院）；University of Maryland（马里兰大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了递归神经网络在预测高维和降阶复杂系统的时空动态时，使用水库计算（RC）和反向传播通过时间（BPTT）门控网络架构的效率。我们强调每种方法的优点和局限性，并讨论它们的并行计算架构的实现。我们量化的相对预测精度，这些算法的长期预测混沌系统作为基准的Lorenz-96和Kuramoto-Sivashinsky（KS）方程。我们发现，当完整的状态动态可用于训练时，RC在预测性能和捕获长期统计数据方面优于BPTT方法，同时需要更少的训练时间。然而，在降阶数据的情况下，大规模RC模型可能是不稳定的，并且比BPTT算法更有可能发散。相比之下，通过BPTT训练的RNN表现出更好的预测能力，并很好地捕捉降阶系统的动态特性。此外，本研究首次量化的KS方程的李雅普诺夫谱与BPTT，达到类似的精度RC。这项研究表明，RNN是学习和预测复杂时空系统的有效计算框架。
2020-02-17 cs.LG eess.SP physics.flu-dyn
Hypercomplex-Valued Recurrent Correlation Neural Networks
Institute of Mathematics, Statistics, and Scientific Computing（数学、统计与科学计算研究所）；University of Campinas（坎皮纳斯大学）
循环相关神经网络（RCNNs）是Chiueh和Goodman提出的基于双极相关的Hopfield神经网络的改进型，可用于实现大容量的联想记忆。在本文中，我们扩展了双极RCNN处理超复值数据。准确地说，我们提出了一个广泛的超复值RCNN类的数学背景。然后，我们提供了必要条件，确保超复值RCNN总是使用同步或异步更新模式稳定在平衡点。双极，复杂，双曲，四元数和八元数值RCNN的例子来说明理论结果。最后，计算实验证实了超复值RCNN作为联想记忆设计的存储和调用灰度图像的潜在应用。
2020-01-31 cs.LG cs.NE stat.ML
On orthogonality and learning recurrent networks with long term dependencies
École Polytechnique de Montréal（蒙特利尔理工学院）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；CHUM Research Center（蒙特利尔大学医学中心研究中心）
众所周知，针对表现出长期依赖性的任务来训练深度神经网络和递归神经网络是具有挑战性的。消失或爆炸梯度问题是与这些挑战相关联的众所周知的问题。解决消失和爆炸梯度的一种方法是对权重矩阵使用软约束或硬约束，以便鼓励或加强正交性。正交矩阵在反向传播过程中保持梯度范数，因此可能是一个理想的属性。本文探讨的问题与优化收敛，速度和梯度稳定性时，鼓励或强制正交。为了进行这种分析，我们提出了一个权重矩阵分解和参数化策略，通过它我们可以约束矩阵范数，从而控制反向传播过程中引起的膨胀度。我们发现，正交性的硬约束会对收敛速度和模型性能产生负面影响。
2017-10-12 cs.LG cs.NE
Efficient Real Time Recurrent Learning through combined activity and parameter sparsity
Institute for Neural Computation, Ruhr University Bochum（波鸿鲁尔大学神经计算研究所）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
时间反向传播（BPTT）是训练递归神经网络（RNN）的标准算法，它需要分别针对推理和学习的前向和后向传递进行单独的模拟阶段。此外，BPTT需要存储阶段之间网络状态的完整历史，内存消耗与输入序列长度成比例增长。这使得BPTT不适合在线学习，并提出了一个挑战，实现低资源的实时系统。实时递归学习（RTRL）允许在线学习，并且所需内存的增长与序列长度无关。然而，RTRL的计算成本非常高，与状态大小的四次方成比例地增长，使得RTRL对于除了最小的网络之外的所有网络都是计算上难以处理的。在这项工作中，我们表明，经常性的网络表现出高活动稀疏性可以降低RTRL的计算成本。此外，结合活动和参数稀疏性可以导致计算和内存成本的显着节省，使RTRL实用。与以前的工作不同，RTRL的效率的提高可以在不使用任何近似的学习过程中实现。
2023-03-10 cs.AI cs.LG
Koopman-informed recurrent neural networks
Munich Data Science Institute（慕尼黑数据科学研究所）；School of Computation, Information and Technology, Technical University of Munich（技术大学慕尼黑计算、信息与技术学院）；Interdisciplinary Center for Scientific Computing (IWR)（跨学科科学计算中心）；Department of Mathematics and Computer Science, Heidelberg University（海德堡大学数学与计算机科学系）
针对递归神经网络训练的梯度问题，引入基于柯普曼算子理论与随机特征网络结合的方法，不依赖梯度构建网络权重和偏差，经实验验证，该方法在预测精度相当的情况下，能显著缩短训练时间。
2026-07-10 cs.LG cs.NA math.NA
Convergence Analysis of Real-time Recurrent Learning (RTRL) for a class of Recurrent Neural Networks
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics & Statistics, Boston University（波士顿大学数学与统计系）
该研究针对截断反向传播时间算法在长序列RNN训练中梯度近似误差大的问题，证明了实时循环学习（RTRL）算法对一类RNN的收敛性，通过数值研究验证理论，并给出其在金融限价订单簿数据中的应用示例。
2025-01-14 cs.LG math.PR stat.ML
Coarse scale representation of spiking neural networks: backpropagation through spikes and application to neuromorphic hardware
Argonne National Laboratory（阿贡国家实验室）
在这项工作中，我们探讨了经常性的代表性泄漏整合和消防神经元的时间尺度等于他们的绝对不应期。我们的粗时间尺度近似获得使用的概率分布函数的尖峰到达，均匀分布在这个时间间隔。这导致了一种离散表示，它表现出与连续模型相同的动态特性，从而通过递归实现实现了高效的大规模模拟和反向传播。我们使用这种方法直接在Pytorch中探索深度脉冲神经网络的训练，包括卷积、全对全连接和最大池层。我们发现，递归模型在训练过程中仅使用4长的尖峰序列就可以获得很高的分类精度。我们还观察到一个很好的转移回泄漏集成和火灾神经元的连续实现。最后，我们将这种方法应用于一些标准控制问题，作为使用神经形态芯片探索强化学习的第一步。
2020-07-13 cs.ET cs.LG cs.NE
Backward Coherence and Hidden-State Stability in Recurrent Neural Networks: A Quasi-Reverse-Martingale Theory
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
提出反向相干性概念，通过拟逆鞅理论证明隐藏状态序列几乎必然收敛，并设计正则化方法，在多个任务中实现更早稳定和更低误差。
2026-06-08 cs.LG stat.AP stat.CO
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy
Sun Yat-sen University（中山大学）；Guangdong University of Technology（广东工业大学）
越来越多的经验和理论证据表明，在合适的训练设置下，加深神经网络可以有效地提高其性能。然而，加深神经网络的主干将不可避免地显著增加计算和参数大小。为了缓解这些问题，我们提出了一个简单而有效的递归注意力策略（RAS），它隐式地增加了神经网络的深度与轻量级注意力模块的局部参数共享。在三个广泛使用的基准数据集上的大量实验表明，RAS可以提高神经网络的性能，在轻微增加的参数大小和计算，表现优于其他现有的知名的注意力模块。
2022-10-27 cs.LG
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Most-Recent Anchoring with Recurrent Ordering for Time Series Forecasting
University of Hildesheim（希尔德斯海姆大学）；VWFS Data Analytics Research Center (VWFS-DARC)（VWFS数据分析研究中心）
提出MARO模型，通过以最近补丁为锚点的循环排序处理回看窗口，在多个真实数据集上实现长期与短期预测的最先进性能。
2026-10-05 cs.LG
Training Recurrent Neural Networks as a Constraint Satisfaction Problem
University of Nevada, Reno（内华达大学里诺分校）
本文提出了一种新的方法来训练人工神经网络使用解决约束满足问题（CSP）的技术。商梯度系统（QGS）是求解CSP的一种基于概率的方法。本研究将神经网络的训练集转换成CSP，并使用QGS来求解。QGS通过跟踪非线性动力系统的轨迹来找到优化问题的全局最小值，并且不会停止在优化问题的局部最小值处。李雅普诺夫理论被用来证明的渐近稳定性的解决方案和不存在的测量误差。数值例子说明了所提出的方法的有效性，并比较它的遗传算法和误差反向传播。
2018-05-14 cs.LG eess.SP stat.ML
iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Stanford University（斯坦福大学）；University of Mumbai（孟买大学）
最近，基于学习的模型已经增强了单图像超分辨率（SISR）的性能。然而，连续地将SISR应用于每个视频帧导致缺乏时间相干性。卷积神经网络（CNN）在峰值信噪比（PSNR）和结构相似性（SSIM）等图像质量指标方面优于传统方法。然而，生成对抗网络（GANs）提供了一个竞争优势，因为它能够缓解缺乏更精细纹理细节的问题，这种问题通常在CNN以大的放大因子进行超分辨率时出现。我们提出了iSeeBetter，一种新的基于GAN的时空视频超分辨率（VSR）方法，可以呈现时间一致的超分辨率视频。iSeeBetter使用循环反投影网络的概念作为其生成器，从当前和相邻帧中提取空间和时间信息。此外，为了提高超分辨率图像的“自然度”，同时消除传统算法中的伪影，我们利用了来自超分辨率生成对抗网络（SRGAN）的伪影。虽然均方误差（MSE）作为主要损失最小化目标提高了PSNR/SSIM，但是这些度量可能无法捕获图像中的细节，从而导致感知质量的错误表示。为了解决这个问题，我们使用四重（MSE，感知，对抗和总变差（TV））损失函数。我们的研究结果表明，iSeeBetter提供卓越的VSR保真度和超越国家的最先进的性能。
2020-09-30 cs.AI cs.CV cs.LG
Low-pass Recurrent Neural Networks - A memory architecture for longer-term correlation discovery
DeepMind Technologies（深度思维科技）
执行复杂任务的强化学习（RL）代理必须能够记住相当长时间间隔内的观察和动作。在学习的最初阶段尤其如此，因为探索性行为会增加具体行动与其效果之间的延迟。许多新的或流行的方法来学习这些遥远的相关性采用反向传播通过时间（BPTT），但这种技术需要存储足够长的观察轨迹，以跨越因果之间的间隔。除了内存需求，学习动态，如消失梯度和缓慢的收敛，由于不频繁的权重更新可以降低BPTT的实用性;同时，虽然在线循环网络学习是一个发展中的话题，大多数方法都不够有效，可以作为替代品。我们提出了一种简单，有效的记忆策略，可以扩展BPTT可以学习的窗口，而不需要更长的跟踪。我们探索这种方法经验上的一些任务，并讨论其影响。
2018-05-13 cs.AI cs.LG stat.ML
Prospective Coding Improves Learning in Deep Continuous-Time Recurrent Networks
Telepath；New York University（纽约大学）
该研究开发递归正交滤波器（RQFs）并提出前瞻性输入编码修正，缓解深度连续时间循环网络的梯度衰减，在语音命令等任务上取得优异性能，验证了其参数高效性。
2026-11-10 cs.LG cs.NE q-bio.NC
WeNet: Weighted Networks for Recurrent Network Architecture Search
Amazon AWS AI（亚马逊AWS人工智能）
近年来，在深度学习中对自动架构搜索的需求越来越大。已经提出了许多方法，并在各种应用中产生了最先进的结果，包括图像分类和语言建模。在本文中，我们提出了一种新的方式架构搜索加权网络（WeNet），它由一些网络，每个分配一个权重。这些权重通过反向传播进行更新，以反映不同网络的重要性。这种加权网络具有类似于混合专家模型的特点。我们在Penn Treebank和WikiText-2上进行实验。我们表明，所提出的WeNet可以找到经常性的架构，从而导致最先进的性能。
2019-04-08 cs.LG cs.NE
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
由于梯度消失，训练RNN学习长期依赖性是困难的。我们探索了一种基于显式记忆的替代解决方案，使用线性自编码器的序列，它允许最大限度地提高短期记忆，并且可以用封闭形式的解决方案来解决，而无需反向传播。我们引入了一个初始化模式，该模式预训练递归神经网络的权重以近似输入序列的线性自编码器，并展示了这种预训练如何更好地支持解决长序列的硬分类任务。我们测试我们的方法顺序和排列MNIST。我们表明，所提出的方法实现了更低的重建误差长序列和更好的梯度传播在微调阶段。
2020-11-05 cs.LG
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York（纽约城市学院）；Biomedical Engineering Department（生物医学工程系）
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题，本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构，通过递归前向传播算法实现自监督学习，从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
Backpropagation Through Time For Networks With Long-Term Dependencies
本文提出一种基于“离散前向灵敏度方程”及其变体的精确BPTT方法，用于解决RNNs中因长期依赖导致传统梯度近似算法失效的问题。
2025-06-25 cs.LG
Learning Input and Recurrent Weight Matrices in Echo State Networks
University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research（微软研究院）
回声状态网络（ESN）是一种特殊类型的时间深度网络模型，即递归神经网络（RNN），其中递归矩阵经过精心设计，递归矩阵和输入矩阵都是固定的。ESN使用输出单元的激活函数的线性度来简化输出矩阵的学习。在本文中，我们设计了一种特殊的技术，利用ESN的输出单元中的这种线性，来学习输入和递归矩阵。这在早期的ESN中还没有完成，因为它们在学习这些矩阵方面存在众所周知的困难。与一般RNN学习中的时间反向传播（BPTT）技术相比，我们提出的方法利用输出单元中激活函数的线性来制定RNN中各种矩阵之间的关系。这些关系导致成本函数的梯度具有解析形式并且更精确。这将使我们能够计算梯度，而不是像BPTT那样通过递归获得它们。电话状态分类的实验结果表明，与不学习这些矩阵的传统ESN相比，学习ESN中的输入矩阵和递归矩阵中的一个或两个会产生更好的结果，尤其是当使用更长的时间步长时。
2013-11-13 cs.LG
Video Description using Bidirectional Recurrent Neural Networks
Computer Vision Center（计算机视觉中心）；PRHLT Research Center, Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）；Universitat de Barcelona（巴塞罗那大学）
虽然传统上用于机器翻译领域，但编码器-解码器框架最近已被应用于视频和图像描述的生成。这些模型中卷积和循环神经网络的组合已被证明优于先前的技术水平，获得更准确的视频描述。在这项工作中，我们建议进一步推动这个模型，通过引入两个贡献到编码阶段。首先，通过结合来自卷积神经网络的对象和位置信息来产生更丰富的图像表示，其次，引入双向循环神经网络来捕获输入帧中的前向和后向时间关系。
2016-12-12 cs.CL cs.CV cs.LG
A Discrete Variational Recurrent Topic Model without the Reparametrization Trick
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
我们展示了如何学习离散随机变量的神经主题模型-一个明确的模型每个单词的分配主题-使用神经变分推理，不依赖于随机反向传播来处理离散变量。我们利用的模型结合了神经方法的表达能力，用于表示文本序列与主题模型的能力，以捕捉全球，主题的连贯性。使用神经变分推理，我们在多个语料库中表现出改进的困惑和文档理解。我们检查先验参数的模型和变参数的影响，并展示了我们的方法可以竞争和超越一个流行的主题模型实现主题质量的自动测量。
2020-10-22 cs.LG
On the dynamics of convolutional recurrent neural networks near their critical point
Rockefeller University（洛克菲勒大学）；University of Oxford（牛津大学）
本文解析研究了临界点附近单层卷积循环网络的动力学，揭示输出经压缩非线性依赖输入、弛豫时间与传播长度呈幂律发散，并给出稳态解及背景值对衰减和传播的影响。
2024-05-22 cond-mat.stat-mech cs.LG q-bio.NC
Fast Training of Recurrent Neural Networks with Stationary State Feedbacks
Université Paris Dauphine - PSL（巴黎多芬大学-PSL）；ESPCI PSL（巴黎高等物理化工学院-PSL）
本文提出用固定梯度反馈机制替代BPTT，基于平稳性假设和SSM原理定义反馈矩阵，在语言建模中降低训练成本并保持困惑度竞争力。
2025-03-29 cs.AI cs.LG
Seq2Biseq: Bidirectional Output-wise Recurrent Neural Networks for Sequence Modelling
LIG（格勒诺布尔信息学实验室）；Lattice CNRS（法国国家科学研究中心Lattice实验室）；ALMAnaCH Inria（法国国家信息与自动化研究所ALMAnaCH）
在过去的几年中，循环神经网络（RNN）在大多数序列建模问题上都达到了最先进的性能。特别是，“序列到序列”模型和神经CRF已被证明是非常有效的，在这一领域。在这篇文章中，我们提出了一种新的RNN架构用于序列标记，利用门控递归层来考虑任意长的上下文，并使用两个向前和向后操作的解码器。我们比较了几个变种的建议的解决方案和他们的表现，以国家的最先进的。我们的大多数结果是优于国家的最先进的或非常接近它，并感谢使用最新的技术，我们的架构可以扩展语料库大于在这项工作中使用的。
2019-04-16 cs.CL cs.LG
Unconstrained Fashion Landmark Detection via Hierarchical Recurrent Transformer Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）
服装标志是服装上的功能性关键点，如领口、底边和袖口的边角。它们最近被引入作为时尚图像理解的有效视觉表示。然而，检测时尚地标是具有挑战性的，由于背景杂波，人体姿势和规模。为了消除上述变化，以前的作品通常假设衣服的边界框在训练和测试中提供作为额外的注释，这是昂贵的，在实践中不适用。这项工作解决了无约束的时尚地标检测，其中服装边界框在训练和测试中都没有提供。为此，我们提出了一种新的深度LAndmark网络（DLAN），其中边界框和地标以端到端的方式联合估计和迭代训练。DLAN包含两个专用模块，包括用于处理尺度差异的选择性扩张卷积和用于处理背景杂波的分层递归空间Transformer。为了评估DLAN，我们提出了一个大规模的时尚地标数据集，即无约束地标数据库（ULD），由30K图像组成。统计数据显示，ULD在图像尺度、背景杂乱和人体姿势方面比现有数据集更具挑战性。大量的实验证明了DLAN的有效性超过国家的最先进的方法。DLAN在不同的服装类别和形式上也表现出很好的泛化能力，使其非常适合现实世界的时尚分析。
2017-08-07 cs.CV cs.LG
