Memory and Information Processing in Recurrent Neural Networks
循环神经网络（RNN）是一种简单的动力系统，其计算能力归因于其短期记忆。RNN的短期记忆以前仅在正交网络的情况下进行了分析研究，并且仅在退火近似和不相关输入下进行。在这里，我们第一次提出了一个精确的解决方案，内存容量和任务解决性能作为一个给定的网络实例的结构的函数，使RNN中的功能-结构关系的直接确定。我们计算了任意网络的记忆容量与指数相关的输入，并进一步将其与系统在监督学习设置中的信号处理任务的性能相关。我们计算的预期误差和最坏情况下的误差界作为网络的频谱和其输入和输出的相关结构的函数。我们的研究结果给出了一个解释的学习和概括的任务解决使用短期记忆，这是至关重要的建立替代计算机体系结构使用的物理现象的基础上短期记忆的原则。
2016-04-23 cs.NE
An Empirical Exploration of Deep Recurrent Connections and Memory Cells Using Neuro-Evolution
由于设计最优人工神经网络（ANN）所涉及的挑战，神经进化和神经结构搜索算法获得了越来越多的关注。虽然这些算法已被证明具有超越最好的人工构建架构的潜力，但它们不太常见的用途是作为分析ANN结构组件和连接结构的工具。在这项工作中，我们专注于这个特定的用例，以开发一个严格的检查和比较框架，用于分析应用于时间序列预测的递归神经网络（RNN），使用称为增强记忆模型（EMM）的进化探索的新神经进化过程。具体来说，我们使用我们的基于HMM的分析来研究循环存储单元的能力和由跨越一个或多个时间步骤的各种复杂循环连接模式提供的泛化能力，即，深层循环联系。在这项研究中，CNOM在5,280次重复实验中使用不同的组件对超过1056万个RNN进行了训练。虽然许多现代的，通常是手工制作的RNN依赖于复杂的存储单元（具有仅跨越单个时间步的内部循环连接），但这些单元的运行假设是这些单元足够锁存信息并处理长期依赖关系，我们的研究结果表明，具有深度循环连接的网络比没有深度循环连接的网络表现得更好。更重要的是，在某些情况下，性能最好的RNN仅由简单的神经元和深度时间跳跃连接组成，没有任何存储单元。这些结果强烈表明，利用RNN中的深度时间跳跃连接进行时间序列数据预测不仅值得进一步的专门研究，而且还证明了神经进化作为更好地研究，理解和训练有效RNN的手段的潜力。
2019-09-27 cs.NE
Recurrent Inference Machines for Solving Inverse Problems
University of Amsterdam（阿姆斯特丹大学）
最近关于解决迭代推理问题的许多研究都集中在从手工选择的推理算法转向学习推理。在后者中，推理过程在时间上展开并被解释为递归神经网络（RNN），其允许通过时间反向传播来联合学习模型和推理参数。在这个框架中，RNN架构直接源自手动选择的推理算法，有效地限制了其功能。我们提出了一个学习框架，称为递归推理机（RIM），在这个框架中，我们将算法构造反过来：给定数据和任务，训练RNN来学习推理算法。因为RNN是图灵完备的[1，2]，所以它们能够实现任何推理算法。该框架允许抽象，消除了对领域知识的需求。我们在几个图像复原实验中证明了这种抽象是有效的，使我们能够在图像去噪和超分辨率任务以及卓越的跨任务泛化上实现最先进的性能。
2017-06-13 cs.CV cs.NE
Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex
Center for Brains, Minds, and Machines（脑、心智与机器中心）；McGovern Institute for Brain Research（麦戈文脑科学研究所）；Massachusetts Institute of Technology（麻省理工学院）
我们讨论了残差网络（ResNet），循环神经网络（RNNs）和灵长类动物视觉皮层之间的关系。我们首先观察到，一种特殊类型的浅RNN完全等同于一个非常深的ResNet，在层之间共享权重。这样的RNN的直接实现，虽然具有数量级更少的参数，但导致与相应的ResNet类似的性能。我们提出1）RNN和ResNet架构的推广，2）推测一类中等深度的RNN是视觉皮层中腹侧流的生物学上合理的模型。我们通过在CIFAR-10和ImageNet数据集上测试这些架构来证明它们的有效性。
2020-12-31 cs.LG cs.NE
Multiscale Analysis of Woven Composites Using Hierarchical Physically Recurrent Neural Networks
University of Gothenburg（哥德堡大学）；Delft University of Technology（代尔夫特理工大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出分层物理递归神经网络，通过两层代理建模捕捉纱线非线性弹塑性行为并整合到宏观模型中，提升多尺度建模的计算效率和可解释性。
2025-03-06 cs.NE physics.comp-ph
Strongly-Typed Recurrent Neural Networks
Victoria University of Wellington（惠灵顿维多利亚大学）；Weta Digital（维塔数码）
循环神经网络是越来越流行的顺序学习模型。不幸的是，尽管最有效的RNN架构可能过于复杂，但广泛的搜索还没有找到更简单的替代方案。本文将物理学和函数式编程的思想引入RNN设计中，为RNN设计提供指导原则。从物理学的角度，我们引入了类型约束，类似于禁止将米加到秒的约束。从函数式编程开始，我们要求强类型架构分解为无状态的learnware和状态依赖的固件，以减少副作用的影响。强类型网学习的特征通过一维卷积上的动态平均池有一个简单的语义解释。我们还表明，强类型的梯度比在经典架构中表现得更好，并表征强类型网的代表性力量。最后，实验表明，尽管受到更多的约束，强类型的架构实现了较低的训练和可比的泛化误差的经典架构。
2016-05-24 cs.LG cs.NE
Gated Recurrent Neural Networks with Weighted Time-Delay Feedback
ICSI and LBNL（ICSI和LBNL）；KTH and Nordita（KTH和Nordita）；UC Berkeley, ICSI and LBNL（伯克利大学、ICSI和LBNL）
本文提出带加权时滞反馈的$τ$-GRU模型，基于延迟微分方程构建，经理论证明解存在唯一，在多任务上性能优于现有门控循环架构，收敛更快、泛化更好。
2025-05-19 cs.LG cs.NE stat.ML
Investigating Recurrent Neural Network Memory Structures using Neuro-Evolution
Rochester Institute of Technology（罗切斯特理工学院）
本文提出了一种新的算法，增强记忆模型的进化探索（Evolutionary eXploration of Augmenting Memory Models，简称EMM），它能够使用各种各样的记忆结构，如Delta-RNN，GRU，LSTM，MGU和UGRNN细胞来进化递归神经网络（RNN）。CNOM发展了RNN来预测来自航空和电力行业的大规模真实世界时间序列数据。这些数据集由非常长的时间序列（数千个读数）组成，每个数据集都有大量潜在的相关和相关参数。选择四个不同的参数用于预测，并且单独使用每种存储单元类型、具有前馈节点的每种单元类型以及所有可能的存储单元类型来执行DRM运行。进化的RNN性能是使用重复的k倍交叉验证来测量的，在高性能计算集群上，在12，100个CPU小时内进化了2，420，000个RNN。对进化的RNN的泛化进行了统计检查，提供了有趣的发现，这些发现可以帮助改进RNN存储单元设计，并为未来的神经进化算法开发提供信息。
2019-02-08 cs.AI cs.NE
Neuroevolutionary Transfer Learning of Deep Recurrent Neural Networks through Network-Aware Adaptation
Rochester Institute of Technology（罗切斯特理工学院）
迁移学习需要采用在源数据集上训练的人工神经网络（ANN）并使其适应新的目标数据集。虽然这已经被证明是非常强大的，但它的使用通常受到架构约束的限制。以前，为了重用和适应ANN的内部权重和结构，在任务之间传输的ANN的底层拓扑必须保持基本相同，同时附加新的输出层，丢弃旧的输出层的权重。这项工作介绍了网络感知的自适应结构迁移学习（N-ASTL），在以前的努力，以消除这种限制的进步。N-ASTL利用与源网络的拓扑和权重分布相关的统计信息，以告知如何将新的输入和输出神经元集成到现有结构中。结果显示了对现有技术的改进，包括在具有挑战性的现实世界数据集中转移的能力，以及在没有转移的情况下训练的RNN的改进泛化能力。
2020-06-04 cs.LG cs.NE
Batch Normalized Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；University of Southern California（南加州大学）
循环神经网络（RNN）是一种强大的序列数据模型，具有学习长期依赖关系的潜力。然而，它们在训练时计算开销大并且难以并行化。最近的研究表明，规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是，使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中，我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明，当应用于输入到隐藏转换时，批量归一化可以导致训练标准的更快收敛，但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之，将批量归一化应用于RNN比将其应用于前馈网络更具挑战性，但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
Fuzzy Recurrent Stochastic Configuration Networks for Industrial Data Analytics
Northeastern University（东北大学）；China University of Mining and Technology（中国矿业大学）
针对工业数据分析中非线性动力学建模的不确定性问题，提出结合TSK模糊规则与多子储层的模糊循环随机配置网络，经RSC算法训练和投影算法在线更新，性能优于经典模型，可用于复杂工业系统建模。
2024-08-13 cs.AI cs.LG cs.NE
Hierarchical temporal receptive windows and zero-shot timescale generalization in biologically constrained scale-invariant deep networks
Department of Psychological and Brain Sciences（心理与脑科学系）；Department of Physics（物理系）
该研究通过生物受限的深度网络，探索了尺度不变的递归架构在语言分类任务中的零样本时间尺度泛化能力，揭示了人类认知中层级时间感受窗口的作用。
2026-01-06 cs.AI cs.CL cs.LG
Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；Department of Mathematics and Statistics（数学与统计系）
该研究提出用于解释RNN机理的情景记忆理论，通过设计变量绑定任务验证RNN会收敛到对应回路，并提出特权基算法提升RNN可解释性，为理解RNN机制和衔接人工神经网络与神经记忆模型提供了新路径。
2023-10-03 cs.AI cs.LG cs.NE
Hebbian Memory-Augmented Recurrent Networks: Engram Neurons in Deep Learning
Department of Computer Science University of Wisconsin-Whitewater（计算机科学系 威斯康星大学-惠蒂沃特）
受生物神经印迹机制启发，提出融入赫布可塑性显式记忆与稀疏注意力检索的ENN循环架构，性能与经典RNN类模型相当，且可解释性显著提升。
2025-07-29 cs.AI cs.IR cs.LG
