Strongly-Typed Recurrent Neural Networks
Victoria University of Wellington（惠灵顿维多利亚大学）；Weta Digital（维塔数码）
循环神经网络是越来越流行的顺序学习模型。不幸的是，尽管最有效的RNN架构可能过于复杂，但广泛的搜索还没有找到更简单的替代方案。本文将物理学和函数式编程的思想引入RNN设计中，为RNN设计提供指导原则。从物理学的角度，我们引入了类型约束，类似于禁止将米加到秒的约束。从函数式编程开始，我们要求强类型架构分解为无状态的learnware和状态依赖的固件，以减少副作用的影响。强类型网学习的特征通过一维卷积上的动态平均池有一个简单的语义解释。我们还表明，强类型的梯度比在经典架构中表现得更好，并表征强类型网的代表性力量。最后，实验表明，尽管受到更多的约束，强类型的架构实现了较低的训练和可比的泛化误差的经典架构。
2016-05-24 cs.LG cs.NE
Optimizing and Contrasting Recurrent Neural Network Architectures
University of Edinburgh（爱丁堡大学）
递归神经网络（RNN）长期以来一直被认为具有建模复杂时间序列的潜力。然而，仍然需要确定什么样的优化技术和递归架构可以用来最好地实现这一潜力。提出的实验深入研究海森自由优化，一个强大的二阶优化方法，已显示出有前途的结果，但仍然没有得到广泛的使用。该算法被用于训练到许多RNN架构，包括标准RNN，长短期记忆，乘法RNN和堆叠RNN的字符预测任务。从这些实验中获得的见解导致创建了一种新的乘法LSTM混合架构，其性能优于LSTM和乘法RNN。当在更大规模上进行测试时，乘法LSTM使用非常不同的方法实现了与RNN最新技术水平竞争的字符级建模结果。
2015-10-16 cs.LG cs.NE stat.ML
Neuroevolution of Recurrent Architectures on Control Tasks
Montreal University Geriatric Institute（蒙特利尔大学老年医学研究所）
本文提出依据少量变异规则动态进化循环神经网络架构的大规模并行进化算法，在19个OpenAI Gym控制任务上以少几个数量级的参数达到或超过梯度方法性能。
2023-04-03 cs.LG cs.NE
Expressive probabilistic sampling in recurrent neural networks
University of Washington（华盛顿大学）；Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；Center for Neurotechnology（神经技术中心）；Department of Applied Mathematics（应用数学系）；Computational Neuroscience Center（计算神经科学中心）
本研究提出储层采样器网络（RSNs），通过去噪分数匹配训练递归神经回路，实现从任意概率分布的高效朗之万采样，为下一代基于采样的脑模型奠定基础。
2023-11-14 cs.AI cs.NE q-bio.NC
Dynamic Cell Structure via Recursive-Recurrent Neural Networks
Weinberg College of Arts and Sciences, Northwestern University（西北大学温伯格文理学院）；Northwestern University（西北大学）
在循环设置中，神经架构搜索的传统方法为所有数据样本和时间步长找到并固定通用模型。我们提出了一种新的算法，可以动态搜索的递归神经网络模型中的细胞的结构。基于递归和递归神经网络的组合，我们的算法能够为每个数据样本和时间步长构建定制的细胞结构，允许比现有模型更有效的架构搜索。在三个常见数据集上的实验表明，该算法发现了高性能的细胞结构，并在语言建模和情感分析方面取得了比GRU结构更好的预测精度。
2019-05-25 cs.LG cs.NE stat.ML
Feed-forward approximations to dynamic recurrent network architectures
递归神经网络架构可以具有有用的计算特性，具有复杂的时间动态和输入敏感的吸引子状态。然而，经常性动态架构的评估需要微分方程系统的解，并且确定其对给定输入的响应所需的评估次数可以随输入而变化，或者在振荡或不稳定的情况下可以完全不确定。相比之下，在前馈网络中，只需要通过网络一次就可以确定对给定输入的响应。现代机器学习系统被设计为在前馈架构上高效运行。我们假设具有简单确定性动力学的双层前馈结构可以近似单层递归网络结构的响应。通过识别给定递归网络的固定点响应，我们训练了两层网络，以直接逼近给定输入的固定点响应。然后，这些前馈网络包含有用的计算，包括竞争性交互、信息转换和噪声抑制。我们的方法能够找到有用的近似递归网络，然后可以在线性和确定性的时间复杂度进行评估。
2017-09-15 cs.NE q-bio.NC
MCRM: Mother Compact Recurrent Memory
LSTM和GRU是用于解决时间序列问题的最常见的递归神经网络架构。这两种架构具有不同的数据流，处理称为单元状态（也称为存储器）的公共组件。我们试图通过提出一种我们称之为母亲紧凑递归记忆（MCRM）的修改来增强记忆。MCRM是一种嵌套LSTM-GRU架构，其中单元状态是GRU隐藏状态。来自LSTM的遗忘门和输入门交互的级联被认为是GRU单元的输入。由于MCRM具有这种类型的嵌套，MCRM具有由神经元组成的紧凑的记忆模式，这些神经元以长期和短期的方式明确地起作用。对于一些特定的任务，实证结果表明，MCRM优于以前使用的架构。
2019-08-06 cs.LG cs.NE stat.ML
Efficient Time-Series Approximation with Linear Recurrent Neural Networks: Architecture Learning and Predictive Power
本文提出线性循环神经网络通过求解线性方程组近似时间函数，并依据转移矩阵特征值一步精简架构，在 MSO 等任务中以最少单元取得最优表现。
2025-09-30 cs.LG cs.NE
Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies
ETH Zürich（苏黎世联邦理工学院）；Seminar for Applied Mathematics (SAM)（应用数学研讨班（SAM））；Department of Mathematics（数学系）
生物神经元的回路，例如大脑的功能部分，可以被建模为耦合振荡器的网络。受这些系统表达丰富的输出集，同时保持状态变量（梯度）有界的能力的启发，我们提出了一种新的递归神经网络架构。我们提出的RNN是基于二阶常微分方程系统的时间离散化，对受控非线性振荡器网络进行建模。我们证明了隐藏状态梯度的精确界限，从而缓解了该RNN的爆炸和消失梯度问题。实验表明，所提出的RNN在各种基准测试中的性能与最先进的RNN相当，证明了这种架构为处理复杂的序列数据提供稳定和准确的RNN的潜力。
2021-03-14 cs.LG cs.NE stat.ML
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
Comparing Fixed and Adaptive Computation Time for Recurrent Neural Networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
循环神经网络（ACT）的自适应计算时间是变量计算最有前途的结构之一。ACT通过能够不止一次地查看每个样本来适应输入序列，并学习它应该做多少次。在本文中，我们将ACT与Repeat-RNN进行了比较，Repeat-RNN是一种基于重复每个样本固定次数的新型架构。我们发现了令人惊讶的结果，Repeat-RNN在选定的任务中表现与ACT一样好。TensorFlow和PyTorch的源代码可在https://imatge-upc.github.io/danifojo-2018-repeatrnn/上公开获取
2018-03-21 cs.LG cs.NE
Centralized and Decentralized Global Outer-synchronization of Asymmetric Recurrent Time-varying Neural Network by Data-sampling
JinLing Hospital of Nanjing, People¡¯s Republic of China（南京金陵医院）；Jinling Hospital-Fudan University Computational Translational Medicine Center, Centre for Computational Systems Biology, and School of Mathematical Sciences, Fudan University, People’s Republic of China（复旦大学数学科学学院）；School of Mathematics, Fudan University, 200433, Shanghai, China（复旦大学数学学院）；School of Computer Sciences/Mathematics, Fudan University, 200433, Shanghai, China（复旦大学计算机科学与数学学院）
研究通过集中式和分布式数据采样原理，推导出保证不同初始值下相同神经网络系统轨迹收敛的充分条件，并证明采样间隔下界为正，避免Zeno行为。
2016-04-02 cs.NE cs.SY eess.SY
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
大脑皮层在大脑中处理视觉、听觉和感觉数据，已知在其层内以及从高层到低层具有许多循环连接。但是，在使用神经网络的机器学习的情况下，通常假设严格的前馈架构适用于静态输入数据，例如图像，而递归网络主要用于处理顺序输入，例如语言。然而，不清楚静态输入数据的处理是否也受益于经常性连接。在这项工作中，我们引入并测试了一种新的循环神经网络的实现，该网络具有横向和反馈连接到深度学习中。这种对严格前馈结构的偏离阻止了使用标准误差反向传播算法来训练网络。因此，我们提供了一种算法，该算法在递归网络的隐式实现上实现反向传播算法，这与循环神经网络的最新实现不同。与当前的循环神经网络相比，我们的方法消除了由于许多迭代更新步骤而使用的长衍生物链，这使得学习的计算成本更低。事实证明，在单层隐式递归网络中存在递归层内连接可以大大提高神经网络的性能：单层隐式递归网络能够解决XOR问题，而具有单调递增激活函数的前馈网络则无法完成此任务。最后，我们证明了一个两层的隐式经常性架构导致更好的性能在回归任务的物理参数从阻尼摆的测量轨迹。
2020-10-20 cs.LG cs.NE
Towards Non-saturating Recurrent Units for Modelling Long-term Dependencies
Mila, Université de Montréal（米拉-蒙特利尔大学）；Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
对长期依赖性进行建模是递归神经网络的一个挑战。这主要是由于随着序列长度的增加，梯度在训练期间消失。转换操作符可以衰减重复项，激活函数可以衰减或丢弃重复项。像LSTM这样的规范架构通过内存机制跳过信息来缓解这个问题。我们提出了一种新的递归架构（非饱和递归单元; NRU），它依赖于一个内存机制，但放弃了饱和激活函数和饱和门，以进一步减轻消失梯度。在一系列合成和现实世界的任务中，我们证明了所提出的模型是唯一一个在所有任务中具有和不具有长期依赖关系的前两个模型中执行的模型，与一系列其他架构相比。
2019-01-22 cs.LG cs.NE stat.ML
An Empirical Comparison of Neural Architectures for Reinforcement Learning in Partially Observable Environments
Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文探讨了拟合神经Q迭代强化学习在几个部分可观察的环境中的性能，使用三个递归神经网络架构：长短期记忆，门控递归单元和MUT 1，一个递归神经架构从一个池的几千个候选架构演变。一个变种的拟合Q迭代，优势值的基础上，而不是Q值，也探讨了。结果表明，GRU在大多数问题上的表现明显优于LSTM和MUT 1，在学习一个非常好的策略之前，需要更少的训练集和更少的CPU时间。优势学习也往往产生更好的结果。
2015-12-17 cs.AI cs.LG cs.NE
An Intrinsic Nearest Neighbor Analysis of Neural Machine Translation Architectures
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
早期的方法通过将递归和非递归神经机器翻译模型的隐藏状态馈送到不同的分类器中来间接地研究所捕获的信息。在本文中，我们期待在编码器隐藏状态的Transformer和循环机器翻译模型从最近邻居的角度来看。我们调查到什么程度的最近的邻居共享信息的基础词嵌入以及相关的WordNet条目。此外，我们还研究了最近邻居的潜在句法结构，以揭示句法相似性在将邻居聚集在一起方面的作用。我们比较Transformer和经常性的模型在一个更内在的方式捕获词汇语义和句法结构，与以前的作品使用的外在方法。与早期作品中的外在评价一致，我们的实验结果表明，Transformers在捕获词汇语义方面更优越，但在捕获底层语法方面不一定更好。此外，我们表明，在一个循环模型的向后递归层学习更多的单词的语义，而向前递归层编码更多的上下文。
2019-07-08 cs.CL cs.LG cs.NE
Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network
Intel Labs（英特尔实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的工作表明，对递归神经网络（RNN）的拓扑增强可以提高其表达能力和代表能力。两种流行的增强是堆叠RNN，它增加了学习非线性函数的能力，以及双向处理，它利用序列中的因果信息。在这项工作中，我们探索了延迟RNN，这是一个单层RNN，在输入和输出之间有延迟。我们证明了延迟RNN的权重约束版本等价于堆叠RNN。我们还表明，延迟引起的部分因果关系，很像双向网络。合成实验证实，延迟RNN可以模拟双向网络，类似地解决一些因果任务，并在其他方面优于它们。此外，我们在现实世界的自然语言处理任务中表现出与双向网络相似的性能。这些结果表明，延迟RNN可以近似拓扑结构，包括堆叠RNN，双向RNN和堆叠双向RNN-但延迟RNN的运行时间相同或更快。
2020-06-18 cs.CL cs.LG cs.NE
On The Expressivity of Recurrent Neural Cascades
RelationalAI；University of Oxford（牛津大学）
本文研究循环神经级联（RNC）是否因无环级联结构而损失表达能力，提出基于神经元可实现半群与群的分析框架，证明正循环权重的 sign/tanh RNC 恰捕获无星号正则语言，并可通过群神经元表达全部正则语言。
2024-09-06 cs.FL cs.LG cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Dropout improves Recurrent Neural Networks for Handwriting Recognition
A2iA；SUTD（新加坡科技设计大学）；LIMSI CNRS（法国国家科学研究中心机械与工程计算机科学实验室）
具有长短期记忆细胞的循环神经网络（RNN）目前在无约束手写识别中具有最好的结果。我们表明，使用dropout -最近提出的深度架构正则化方法，可以大大提高它们的性能。虽然以前的工作表明，dropout在卷积网络的背景下具有更好的性能，但它从未应用于RNN。在我们的方法中，在网络中仔细使用dropout，以便它不会影响循环连接，因此保留了RNN在建模序列中的能力。在广泛的手写数据库上进行的大量实验证实了dropout在深度架构上的有效性，即使网络主要由循环和共享连接组成。
2014-03-10 cs.CV cs.LG cs.NE
Composing Recurrent Spiking Neural Networks using Locally-Recurrent Motifs and Risk-Mitigating Architectural Optimization
针对现有循环脉冲神经网络架构缺乏系统性优化的问题，提出由稀疏连接循环基元层构成的可扩展架构和混合风险缓解架构搜索方法，通过生物启发的自修复机制降低优化风险，在多个数据集上实现了性能显著提升。
2023-09-16 cs.NE
Diagonal RNNs in Symbolic Music Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）
在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。
2017-04-19 cs.LG cs.NE stat.ML
Recurrently Controlled Recurrent Networks
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（信息通信研究院）
循环神经网络（RNN），如长短期记忆和门控循环单元是跨广泛的序列建模问题的关键构建块。本文提出了一种递归控制递归网络（RCRN）的表达和强大的序列编码。更具体地说，我们方法背后的关键思想是使用递归网络学习递归门函数。我们的架构分为两个组件-一个控制器单元和一个监听器单元，从而经常性的控制器积极影响监听器单元的组合性。我们对NLP领域的大量任务进行了广泛的实验，例如情感分析（SST，IMDb，Amazon评论等），问题分类（TREC）、蕴涵分类（SNLI、SciTail）、答案选择（WikiQA、TrecQA）和阅读理解（NarrativeQA）。在所有26个数据集中，我们的结果表明，RCRN不仅始终优于BiLSTM，而且堆叠BiLSTM，这表明我们的控制器架构可能是广泛采用的堆叠架构的合适替代品。
2018-11-24 cs.AI cs.CL cs.IR
Least Redundant Gated Recurrent Neural Network
本文提出深度记忆更新（DMU）循环神经网络，通过深度变换滞后状态与输入来更新记忆，训练稳定快速，实验表明其性能可媲美或超越LSTM、GRU等主流架构。
2023-04-17 cs.NE
Optimal Gradient Checkpointing for Sparse and Recurrent Architectures using Off-Chip Memory
Peter Grünberg Institut（彼得·格林贝格研究所）；FZ Jülich（于利希研究中心）；RWTH Aachen（亚琛工业大学）；ESI Algiers（阿尔及尔电子与信息技术学院）
针对稀疏RNN和SNN，提出双重检查点梯度策略，利用IPU分布式内存，减少重计算开销，实现超10倍序列长度或4倍网络规模的训练，仅微小时间开销。
2024-12-16 cs.AR cs.LG cs.NE
Temporal Overdrive Recurrent Neural Network
在这项工作中，我们提出了一种新的循环神经网络架构，旨在模拟系统的特点是多个特征的时间尺度在其动态。建议的网络是由几个经常性的神经元组，分别适应每个时间尺度，以提高系统辨识过程中训练。我们测试我们的框架上的时间序列预测任务，我们显示了一些有前途的，初步的结果取得了合成数据。为了评估我们的网络的能力，我们比较了几个国家的最先进的经常性架构的性能。
2017-01-18 cs.NE math.DS
Grounded Recurrent Neural Networks
CIMS, New York University（纽约大学库朗数学科学研究所）；CSAIL & IMES, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所）
在这项工作中，我们提出了接地递归神经网络（GRNN），这是一种用于多标签预测的递归神经网络架构，它明确地将标签与递归隐藏状态的特定维度联系起来（我们称这个过程为“接地”）。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题，即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集，我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明，在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Deep Recurrent Q-Learning vs Deep Q-Learning on a simple Partially Observable Markov Decision Process with Minecraft
Ynov Informatique（Ynov信息技术学院）
在过去的几年里，深度Q学习已经成功地应用于各种各样的任务。然而，香草Deep Q-Network的架构不适合处理部分可观察的环境，如3D视频游戏。为此，Deep Q-Network中添加了递归层，以允许它处理过去的依赖关系。我们在这里使用Minecraft的定制优势，并设计了两个非常简单的任务，可以作为部分可观测马尔可夫决策过程的框架。我们在这些任务中比较了深度Q网络和深度递归Q网络，以了解后者是否总是最好的架构，当代理必须处理部分可观测性时，后者更棘手，训练时间更长。
2019-04-11 cs.AI cs.LG cs.NE
BlackOut: Speeding up Recurrent Neural Network Language Models With Very Large Vocabularies
Intel（英特尔）；Univ. of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
我们提出了BlackOut，一种近似算法，可以有效地训练具有百万单词词汇的大规模循环神经网络语言模型（RNNLM）。停电的动机是使用歧视性损失，我们描述了一种新的采样策略，显着减少计算，同时提高稳定性，样本效率，收敛速度。理解BlackOut的一种方法是将其视为DropOut策略到输出层的扩展，其中我们使用区分性训练损失和加权采样方案。我们还建立了BlackOut，重要性采样和噪声对比估计（NCE）之间的密切联系。我们在最近发布的10亿字语言建模基准上的实验证明了BlackOut的可扩展性和准确性;我们的表现优于最先进的技术，并在该数据集上获得了最低的困惑分数。此外，与其他通常需要GPU或CPU集群的方法不同，我们证明了精心实现的BlackOut版本只需要1-10天的时间就可以在一台机器上训练一个RNNLM，它具有100万单词的词汇量和10亿单词的数十亿参数。虽然我们在RNNLM训练的上下文中描述了BlackOut，但它可以用于任何具有大型softmax输出层的网络。
2016-03-31 cs.CL cs.LG cs.NE
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
我们探索了一种神经网络架构，该架构堆叠了一个递归层和一个前馈层，该前馈层也连接到输入，并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时，这些神经元被迫进入二进制激活状态，这使得网络表现得更像有限自动机。所得到的模型更简单，更易于解释，对不同的样本问题，包括正则语言的识别，不同基的加法计算和算术表达式的生成，都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
Analyzing and Exploiting NARX Recurrent Neural Networks for Long-Term Dependencies
循环神经网络（RNN）在许多不同的任务上都取得了最先进的性能，从机器翻译到手术活动识别，但训练RNN捕获长期依赖性仍然很困难。到目前为止，绝大多数成功的RNN架构使用状态之间的近似加法连接来缓解这个问题，如长短期记忆（LSTM）所引入的。我们采用正交方法并引入MIST RNN，这是一种NARX RNN架构，允许从遥远的过去进行直接连接。我们发现，MIST RNN 1）与LSTM和以前提出的NARX RNN相比，具有更好的消失梯度特性; 2）比以前提出的NARX RNN架构更有效，需要的计算比LSTM更少; 3）在需要非常长期依赖关系的任务上，与LSTM和Clockwork RNN相比，性能大幅提高。
2018-04-20 cs.NE
EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；State Key Laboratory of Brain-Machine Intelligence, Zhejiang University（浙江大学脑机智能国家重点实验室）
针对事件相机目标检测中自适应事件采样未解决的问题，提出基于循环脉冲神经网络的端到端自适应采样模块，并引入RPD和SAT缓解性能退化，在减少参数和时间步的同时显著提升了检测精度。
2024-08-24 cs.AI cs.CV cs.NE
Colony-Enhanced Recurrent Neural Architecture Search: Collaborative Ant-Based Optimization
针对手动设计神经网络架构易产生次优结构的问题，提出受蚂蚁启发、结合PSO优化的CANTS-N方法，在MSE上优于多种现有NAS方法，有望推动NAS与NE领域发展。
2024-01-30 cs.NE
Capacity and Trainability in Recurrent Neural Networks
Google Brain（谷歌大脑）；Google Inc.（谷歌公司）
循环神经网络（RNN）表达能力的两个潜在瓶颈是它们在参数中存储任务信息的能力，以及在单元中存储输入历史信息的能力。我们通过实验证明，对于各种任务和堆叠深度，所有常见的RNN架构都可以通过仔细的训练实现几乎相同的每任务和每单元容量界限。它们可以存储一定量的任务信息，该任务信息在参数数量上是线性的，并且每个参数大约为5比特。它们还可以从每个隐藏单元的输入历史中存储大约一个实数。我们进一步发现，对于几个任务，它是每个任务的参数容量限制，决定性能。这些结果表明，许多以前比较RNN架构的结果主要是由训练效率的差异驱动的，而不是容量的差异。为了支持这一观察结果，我们比较了几种架构的训练难度，并表明普通RNN更难训练，但容量略高。最后，我们提出了两种新的RNN架构，其中一种比深度堆叠架构的LSTM或GRU更容易训练。
2017-03-03 cs.AI cs.LG cs.NE
Exploring Deep and Recurrent Architectures for Optimal Control
Stanford University（斯坦福大学）
本文探讨了将深度和循环神经网络应用于连续高维运动控制任务，通过强化学习算法训练控制器，比较不同架构的性能，并讨论深度学习在最优控制中的应用前景。
2013-11-07 cs.AI cs.LG cs.NE
An overview and comparative analysis of Recurrent Neural Networks for Short Term Load Forecasting
预测供应网络中的资源需求和消耗的关键组成部分是对实值时间序列的准确预测。事实上，通过实施有效的预报系统，可以减少服务中断和资源浪费。因此，在过去的几十年中，重要的研究一直致力于短期负荷预测方法的设计和开发。一类数学模型，称为循环神经网络，现在越来越受到研究人员的新的兴趣，他们正在取代许多实际实现的预测系统，以前基于静态的方法。尽管这些架构具有不可否认的表现力，但其重复性使其理解复杂化，并在培训过程中提出了挑战。最近，新的重要家族的经常性架构已经出现，其适用性的背景下，负荷预测尚未完全调查。在本文中，我们进行了比较研究的问题，短期负荷预测，通过使用不同类别的国家的最先进的循环神经网络。我们首先在受控的合成任务上测试了所审查的模型，然后在不同的真实数据集上进行了测试，涵盖了重要的实际研究案例。我们提供了最重要的架构的一般概述，并定义了配置递归网络来预测实值时间序列的指导方针。
2018-07-20 cs.NE
Recurrent Ladder Networks
The Curious AI Company（好奇人工智能公司）
我们提出了一个经常性的梯子网络的扩展，其结构是由层次潜变量模型中所需的推理动机。我们证明，经常性的梯子是能够处理各种各样的复杂的学习任务，受益于迭代推理和时间建模。该架构在视频数据的时间建模上显示出接近最佳的结果，在音乐建模上显示出有竞争力的结果，并且基于更高阶的抽象（例如随机纹理和运动线索）改进了感知分组。我们提出了完全监督，半监督和无监督任务的结果。结果表明，所提出的架构和原则是强大的工具，学习层次的抽象，学习迭代推理和处理时间信息。
2017-12-18 cs.AI cs.LG cs.NE
An automatic selection of optimal recurrent neural network architecture for processes dynamics modelling purposes
Gdańsk University of Technology（格但斯克工业大学）
针对动态过程黑箱建模，本文提出四种结合进化算法与梯度下降的循环神经网络架构自动搜索方法，通过专用进化算子平衡网络规模与精度，并在压水堆快速过程数据上验证。
2023-09-25 cs.AI cs.NE
Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes
Microsoft Research AI（微软研究院人工智能）
具有随机权重和偏差的宽神经网络是高斯过程，正如Neal（1995）最初观察到的那样，最近Lee et al.（2018）和Matthews et al.（2018）观察到的深度全连接网络，以及Novak et al.（2019）和Garriga-Alonso et al.（2019）观察到的深度卷积网络。我们发现，这种神经网络-高斯过程对应关系令人惊讶地扩展到所有现代前馈或循环神经网络，包括多层感知器，RNN（例如LSTM，GRU），（nD或图）卷积，池化，跳过连接，注意力，批量归一化和/或层归一化。更一般地说，我们引入了一种语言来表达神经网络计算，我们的结果包括所有这样的可表达的神经网络。这项工作作为Yang（2019）中制定的 * 张量程序 * 技术的教程，并阐明了那里获得的高斯过程结果。我们在github.com/thegregyang/GP4A上提供了简单RNN、GRU、Transformer和batchnorm+ReLU网络的高斯过程内核的开源实现。
2021-05-08 cond-mat.dis-nn cs.LG cs.NE
Simple Recurrent Units for Highly Parallelizable Recurrence
ASAPP Inc.（ASAPP公司）；Google Brain（谷歌大脑）；Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
常见的递归神经架构由于其状态计算并行化的内在困难而伸缩性差。在这项工作中，我们提出了简单的循环单元（SRU），一个轻的循环单元，平衡模型的容量和可扩展性。SRU旨在提供富有表现力的递归，支持高度并行化的实现，并附带精心的初始化以促进深度模型的训练。我们证明了SRU在多个NLP任务上的有效性。SRU在分类和问答数据集上实现了比cuDNN优化的LSTM快5- 9倍的速度，并提供了比LSTM和卷积模型更强大的结果。我们还获得了平均0.7 BLEU的改进，通过将SRU纳入架构的Transformer模型的翻译。
2018-09-07 cs.CL cs.NE
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Investigating gated recurrent neural networks for speech synthesis
The Centre for Speech Technology Research, University of Edinburgh, United Kingdom（英国爱丁堡大学语音技术研究中心）
最近，循环神经网络（RNN）作为强大的序列模型已经重新出现，作为一个潜在的声学模型的统计参数语音合成（SPSS）。长短期记忆（LSTM）架构特别有吸引力，因为它解决了标准RNN中的梯度消失问题，使它们更容易训练。尽管最近的研究表明，LSTM在SPSS上的性能明显优于深度前馈神经网络，但人们对其中的原因知之甚少。在这里，我们试图回答两个问题：a）为什么LSTM作为SPSS的序列模型工作得很好; b）哪个组件（例如，输入门、输出门、遗忘门）是最重要的。我们提出了一个可视化的分析，以及一系列的实验，从而在一个简化的架构的建议。简化的架构具有比LSTM少得多的参数，因此在不降低质量的情况下大大降低了生成复杂度。
2016-01-11 cs.CL cs.NE
A modular architecture for transparent computation in Recurrent Neural Networks
Plymouth University（普利茅斯大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Inria Sophia-Antipolis Méditerranée（法国国家信息与自动化研究所索菲亚-安蒂波利斯地中海研究中心）
传统的计算研究是从自动机、形式语言和算法的角度进行的，然而，在传统的消除联结主义中，神经动力学与符号表示和运算之间的关系仍然不清楚。因此，我们提出了一个独特的视角对这个中心问题，我们想提到的透明连接主义，提出帐户的符号计算可以实现在神经基板。在这项研究中，我们首先介绍了一个新的动力学模型的符号空间，通用的转变，表明它支持一系列的自动机的实时模拟。然后，我们表明，Goedel化的通用移位定义非线性动态自动机，动态系统上的向量空间的发展。最后，我们提出了非线性动力自动机和递归人工神经网络之间的映射。该映射定义了一个以其粒度模块化为特征的架构，其中数据、符号操作及其控制不仅在激活空间中是可区分的，而且在网络本身中是空间可定位的，同时保持符号表示的分布式编码。由此产生的网络实时模拟自动机，并在没有网络训练的情况下直接编程。为了讨论的架构及其后果的独特性，我们提出了两个例子：i）从有限状态机车控制器的中央模式生成器的设计，和ii）创建一个网络模拟系统的交互式自动机，支持分析的花园路径句子的心理语言学实验研究。
2016-09-07 cs.AI cs.CL cs.FL
