Recurrent networks improve neural response prediction and provide insights into underlying cortical circuits
前馈CNN模型近年来已被证明是预测早期视觉皮层神经元对自然图像的单神经元响应的最先进模型。在本文中，我们用递归卷积层扩展了这些模型，反映了众所周知的皮层中的大规模递归，并在猕猴V1和V2单神经元响应的三个数据集中，在数千个超参数组合中显示了前馈模型的预测性能的稳健增长。我们建议的经常性电路可以概念化为一种形式的合奏计算，每次迭代产生更有效的前馈路径的各种路径长度，以允许在最终的近似的解决方案的组合。集合中路径的统计数据为我们的循环模型之间的差异性能增加提供了见解。我们还评估了神经反应预测的循环回路是否与皮层回路有关。我们发现，在适当的模型的循环回路中的隐藏单元，当训练长时间的宽场图像呈现时，表现出类似的时间响应动力学和经典的上下文调制V1神经元中观察到的。这项工作提供了见解的计算原理的递归电路，并建议神经反应预测可能是有用的表征在视觉皮层的递归神经回路。
2022-11-13 cs.NE
ENIGMA Anonymous: Symbol-Independent Inference Guiding Machine (system description)
Czech Technical University in Prague（布拉格捷克理工大学）；University of Innsbruck（因斯布鲁克大学）；University of Warsaw（华沙大学）
我们描述了一个实现的梯度提升和神经指导的饱和式自动定理证明，不依赖于一致的符号名称的问题。对于梯度提升指导，我们通过考虑公式的基于arity的编码来手动创建抽象特征。对于神经指导，我们使用符号无关的图神经网络（GNNs）及其嵌入的条款和条款。这两种方法在E prover及其ENIGMA学习指导框架中得到了有效的实现。为了提供有竞争力的实时性能的GNN，我们已经开发了一种新的基于上下文的方法来评估生成的条款在E。子句在较大的批次中联合评估，并且由GNN相对于大量已经选择的子句（上下文）进行评估，GNN在几轮消息传递中估计它们共同最有用的子集。这意味着GNN完成的近似推理循环与E内部完成的精确符号推理循环有效地交织。的MPTP大型理论基准的方法进行评估，并显示达到可比的实时性能，以最先进的符号为基础的方法。该方法还表现出很高的互补性，解决了大量的硬Mizar问题。
2020-04-28 cs.AI cs.LG cs.LO
ASRC-SNN: Adaptive Skip Recurrent Connection Spiking Neural Network
针对循环脉冲神经网络长时程时序建模中的梯度消失问题，提出跳跃循环连接及自适应跳跃跨度的ASRC方法，有效提升了时序建模性能与鲁棒性。
2025-05-16 cs.NE
A Survey of Recursive and Recurrent Neural Networks
Department of Automation, College of Artificial Intelligence, China University of Petroleum, Beijing, Beijing, China（自动化系、人工智能学院、中国石油大学、北京、北京、中国）
本文系统梳理递归与循环神经网络，按结构、目标函数和学习算法将其分为三大类，阐述模型原理、变形、进展与应用，并展望未来方向。
2025-10-16 cs.AI cs.NE
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Gate-Variants of Gated Recurrent Unit (GRU) Neural Networks
本文通过减少更新和重置门中的参数，评估了递归神经网络（RNN）中门控递归单元（GRU）的三种变体。我们在MNIST和IMDB数据集上评估了三种变体GRU模型，并表明这些GRU-RNN变体模型的性能与原始GRU RNN模型一样好，同时降低了计算费用。
2017-01-20 cs.NE stat.ML
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
大脑皮层在大脑中处理视觉、听觉和感觉数据，已知在其层内以及从高层到低层具有许多循环连接。但是，在使用神经网络的机器学习的情况下，通常假设严格的前馈架构适用于静态输入数据，例如图像，而递归网络主要用于处理顺序输入，例如语言。然而，不清楚静态输入数据的处理是否也受益于经常性连接。在这项工作中，我们引入并测试了一种新的循环神经网络的实现，该网络具有横向和反馈连接到深度学习中。这种对严格前馈结构的偏离阻止了使用标准误差反向传播算法来训练网络。因此，我们提供了一种算法，该算法在递归网络的隐式实现上实现反向传播算法，这与循环神经网络的最新实现不同。与当前的循环神经网络相比，我们的方法消除了由于许多迭代更新步骤而使用的长衍生物链，这使得学习的计算成本更低。事实证明，在单层隐式递归网络中存在递归层内连接可以大大提高神经网络的性能：单层隐式递归网络能够解决XOR问题，而具有单调递增激活函数的前馈网络则无法完成此任务。最后，我们证明了一个两层的隐式经常性架构导致更好的性能在回归任务的物理参数从阻尼摆的测量轨迹。
2020-10-20 cs.LG cs.NE
Reliable and Fast Recurrent Neural Network Architecture Optimization
German Aerospace Center (DLR)（德国航空航天中心）；Universidad de Málaga（马拉加大学）
本文介绍了基于随机误差采样的神经进化（RESN），一种新的自动优化循环神经网络结构的方法。RESN结合了进化算法和无训练评估方法。结果表明，RESN实现了最先进的错误性能，同时减少了一半的计算时间。
2021-06-29 cs.LG cs.NE
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal（蒙特利尔大学）
在本文中，我们已经使用循环神经网络捕捉和建模人体运动数据，并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元，在一些序列建模问题，如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
Temporal Overdrive Recurrent Neural Network
在这项工作中，我们提出了一种新的循环神经网络架构，旨在模拟系统的特点是多个特征的时间尺度在其动态。建议的网络是由几个经常性的神经元组，分别适应每个时间尺度，以提高系统辨识过程中训练。我们测试我们的框架上的时间序列预测任务，我们显示了一些有前途的，初步的结果取得了合成数据。为了评估我们的网络的能力，我们比较了几个国家的最先进的经常性架构的性能。
2017-01-18 cs.NE math.DS
Leabra7: a Python package for modeling recurrent, biologically-realistic neural networks
Emergent是一个软件包，它使用AdEx神经动力学模型和LEABRA学习算法，以生物逼真的方式模拟和训练任意递归神经网络架构。我们提出Leabra7，一个实现这些相同算法的互补Python库。Leabra7是使用现代软件开发原则开发和分发的，并与Python的科学堆栈紧密集成。我们使用传统的模式关联任务和标准的机器学习任务对IRIS数据集进行分类，演示了循环Leabra7网络。
2018-09-19 cs.NE q-bio.NC
Bach in 2014: Music Composition with Recurrent Neural Network
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个使用弹性传播（RProp）和长短期记忆（LSTM）循环神经网络的计算机音乐创作框架。在本文中，我们展示了LSTM网络通过展示其重新创建音乐的能力来正确学习音乐作品的结构和特征。我们还表明，预测现有的音乐使用RProp优于反向传播通过时间（BPTT）。
2014-12-14 cs.AI cs.NE
Programming Patterns in Dataflow Matrix Machines and Generalized Recurrent Neural Nets
数据流矩阵机自然出现在具有线性流的同步并行编程的上下文中。它们可以被看作是递归神经网络的一个相当强大的推广。与递归神经网络类似，大类的低矩阵机器由数字矩阵描述，因此低矩阵机器可以通过计算它们的矩阵来合成。与此同时，有相当强的证据表明，低矩阵机具有足够的表达能力，可以成为一个方便的通用编程平台。由于该平台的网络性质，编程模式通常对应于被理解为程序的广义递归神经网络中的连接模式。本文探讨了各种这样的编程模式。
2018-08-03 cs.NE cs.PL
Fixed-Point Performance Analysis of Recurrent Neural Networks
Seoul National University（首尔国立大学）
循环神经网络在许多应用中已经显示出优异的性能，然而它们在基于硬件或软件的实现中需要增加的复杂性。通过最小化权值和信号的字长，可以大大降低硬件复杂度。本文分析了使用基于再训练的量化方法的循环神经网络的定点性能。研究了RNN各层的量化敏感性，给出了在不牺牲性能的前提下，最小化权容量的整体定点优化结果。使用了一个语言模型和一个音素识别实例。
2016-09-27 cs.LG cs.NE
Use of recurrent infomax to improve the memory capability of input-driven recurrent neural networks
循环神经网络（RNN）的固有瞬态动力学已被用作输入驱动RNN中的计算资源。然而，信息处理能力因RNN的性质而异。许多作者已经研究了RNN的动力学及其与信息处理能力的相关性。在这项研究中，我们提出了一个详细的分析的信息处理能力的RNN优化的经常性infomax（RI），这是一个无监督学习计划，最大限度地提高互信息的RNN通过调整网络的连接强度。因此，我们观察到，延迟线结构出现从RI和RI优化的网络具有优越的短期记忆，这是在其瞬态动态存储输入流的时间信息的能力。
2018-02-14 cond-mat.dis-nn cs.NE
Single Stream Parallelization of Recurrent Neural Networks for Low Power and Fast Inference
由于神经网络算法在许多应用中表现出了很高的性能，因此在移动和嵌入式系统上进行有效的推理具有重要的意义。当在嵌入式系统中为个人用户执行单流递归神经网络（RNN）时，它需要大量的DRAM访问，因为网络大小通常比缓存大小大得多，并且RNN的权重在每个时间步仅使用一次。我们克服了这个问题，并行化的算法，并执行它多个时间步骤的时间。这种方法还通过降低DRAM访问的次数来降低功耗。基于QRNN（Quasi循环神经网络）和SRU（Simple Recurrent Unit）的循环神经网络被用于实现。在基于ARM处理器的系统中，当多时间步数分别为4和16时，SRU的加速比分别为300%和930%。
2018-03-30 cs.DC cs.NE
Text-To-Speech Conversion with Neural Networks: A Recurrent TDNN Approach
本文描述了一个神经网络的设计，执行语音到声学映射的语音合成系统。时域神经网络架构的使用限制了在电话边界处发生的不连续性。循环数据输入还有助于平滑输出参数轨迹。独立测试表明，该系统产生的语音质量与现有商业文本到语音系统的语音相比毫不逊色。
1998-11-24 cs.HC cs.NE
Recurrent Neural Network Grammars
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Pompeu Fabra University（庞培法布拉大学）
我们介绍了循环神经网络文法，概率模型的句子显式短语结构。我们解释高效的推理程序，允许应用程序的分析和语言建模。实验表明，它们在英语中提供了比任何先前发表的监督生成模型更好的解析，并且在英语和中文中提供了比最先进的顺序RNN更好的语言建模。
2016-10-12 cs.CL cs.NE
Simplified Gating in Long Short-term Memory (LSTM) Recurrent Neural Networks
标准LSTM循环神经网络虽然在长距离依赖序列应用中非常强大，但具有高度复杂的结构和相对较大的（自适应）参数。在这项工作中，我们提出了标准LSTM递归神经网络架构和三个新的参数减少的变体之间的经验比较，这些变体是通过从各个门控信号中消除输入信号、偏置和隐藏单元信号的组合而获得的。在两个序列数据集上的实验表明，这三个新的变体，简称为LSTM 1，LSTM 2和LSTM 3，可以用更少的（自适应）参数实现与标准LSTM模型相当的性能。
2017-01-12 cs.NE stat.ML
Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks
CWI（荷兰国家数学与计算机科学研究所）；IMEC（比利时微电子研究中心）
受大脑启发的类脑计算作为边缘AI的范例的出现，正在激励人们寻找在这种硬件上运行的高性能和高效的脉冲神经网络。然而，与深度学习中的经典神经网络相比，当前的脉冲神经网络在引人注目的领域缺乏竞争力。在这里，对于顺序和流式任务，我们演示了一种新型的自适应尖峰递归神经网络（SRNN）与其他脉冲神经网络相比，如何能够实现最先进的性能，并且几乎达到或超过经典循环神经网络（RNN）的性能，同时表现出稀疏的活动。由此，我们计算出SRNN在更困难的任务上比经典RNN的能量提高了$>$ 100倍。为了实现这一目标，我们将标准和自适应多时间尺度尖峰神经元建模为自循环神经单元，并利用PyTorch深度学习框架中的代理梯度和自动微分来有效地实现时间反向传播，包括学习重要的尖峰神经元参数，以使我们的尖峰神经元适应任务。
2020-06-16 cs.LG cs.NE
Learning Longer Memory in Recurrent Neural Networks
Facebook Artificial Intelligence Research（脸书人工智能研究院）
递归神经网络是一个强大的模型，学习时序数据中的时序模式。长期以来，人们认为，由于所谓的梯度消失问题，递归网络难以使用简单的优化器（例如随机梯度下降）进行训练。在本文中，我们表明，学习长期的模式，在真实的数据，如在自然语言，是完全可能使用梯度下降。这是通过对简单的递归神经网络架构进行轻微的结构修改来实现的。我们鼓励一些隐藏的单位，以改变他们的状态慢慢地通过使部分的经常性的权重矩阵接近单位，从而形成一种长期的记忆。我们在语言建模实验中评估了我们的模型，在那里我们获得了与更复杂的长短期记忆（LSTM）网络相似的性能（Hochreiter & Schmidhuber，1997）。
2015-04-16 cs.LG cs.NE
Architectural Complexity Measures of Recurrent Neural Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；University of Toronto（多伦多大学）；Institut des Hautes Études Scientifiques, France（法国高等科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文系统地分析了循环神经网络（RNN）的连接结构。我们的主要贡献是两方面的：首先，我们提出了一个严格的图论框架，描述了一般RNN的连接架构。其次，我们提出了RNN的三种架构复杂度度量：（a）递归深度，它捕获RNN随时间的非线性复杂度，（b）前馈深度，它捕获局部输入输出非线性（类似于前馈神经网络（FNN）中的“深度”），以及（c）递归跳跃系数，它捕获信息随时间传播的速度。我们严格证明了每一个措施的存在性和可计算性。我们的实验结果表明，RNN可能受益于更大的递归深度和前馈深度。我们进一步证明，增加经常性跳跃系数提供了长期依赖问题的性能提升。
2016-11-12 cs.LG cs.NE
Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了循环神经网络（RNN）的参数空间几何结构，并开发了一种适应这种几何结构的路径SGD优化方法，该方法可以学习具有ReLU激活的普通RNN。在几个需要捕获长期依赖结构的数据集上，我们表明，与使用SGD训练的RNN相比，即使使用各种最近建议的初始化方案，path-SGD也可以显着提高ReLU RNN的可训练性。
2016-05-23 cs.LG cs.NE
Learning fixed points of recurrent neural networks by reparameterizing the network model
本文提出通过重参数化循环网络模型推导出两种新学习规则，解决了传统欧几里得空间梯度下降因损失表面奇点导致学习性能差的问题，并质疑了大脑学习遵循负欧几里得梯度的假设。
2023-07-27 cs.NE q-bio.NC
Quaternion-Valued Recurrent Projection Neural Networks on Unit Quaternions
University of Campinas（坎皮纳斯大学）
超复值神经网络，包括四元数值神经网络，可以将多维数据视为单个实体。本文提出了四元数递归投影神经网络（QRPNNs）。简而言之，QRPNN是通过将非局部投影学习与四元数值递归相关神经网络（QRCNN）相结合来获得的。我们表明，QRPNN克服了QRCNN的串扰问题。因此，它们适合于实现联想记忆。此外，计算实验表明，QRPNN表现出更大的存储容量和噪声容忍度比相应的QRCNN。
2020-01-30 cs.LG cs.NE stat.ML
Dataflow matrix machines as programmable, dynamically expandable, self-referential generalized recurrent neural networks
数据流矩阵机是循环神经网络的一个强大的推广。它们使用多种类型的线性流和多种类型的神经元，包括高阶神经元，这些神经元在网络运行时动态更新描述网络权重和拓扑的矩阵。看起来，矩阵机器的能力足以让它们成为一个方便的通用编程平台。本文探讨了在这种情况下出现的一些有用的编程习惯用法和结构。
2018-06-21 cs.NE cs.PL
Generating Sequences With Recurrent Neural Networks
University of Toronto（多伦多大学）
本文展示了如何使用长短期记忆循环神经网络来生成具有长程结构的复杂序列，只需一次预测一个数据点即可。该方法被证明为文本（其中的数据是离散的）和在线手写（其中的数据是实值的）。然后，通过允许网络根据文本序列进行预测，将其扩展到手写合成。由此产生的系统是能够产生高度逼真的草书手写在各种各样的风格。
2014-06-05 cs.CL cs.NE
Network of Recurrent Neural Networks
Beijing Jiaotong University（北京交通大学）
我们描述了一类基于系统理论的神经网络，称为“循环神经网络网络”（NOR），它引入了一个新的结构层次的RNN相关模型。在NOR中，RNN被视为高级神经元，用于构建高级层。更具体地说，我们提出了几种方法来设计不同的NOR拓扑结构，根据系统演化的理论。然后，我们进行了三个不同的任务，以评估我们的实现实验。实验结果表明，我们的模型在相同数量的参数下明显优于简单的RNN，有时甚至比GRU和LSTM更好。
2017-10-10 cs.AI cs.NE
Dynamic Cell Structure via Recursive-Recurrent Neural Networks
Weinberg College of Arts and Sciences, Northwestern University（西北大学温伯格文理学院）；Northwestern University（西北大学）
在循环设置中，神经架构搜索的传统方法为所有数据样本和时间步长找到并固定通用模型。我们提出了一种新的算法，可以动态搜索的递归神经网络模型中的细胞的结构。基于递归和递归神经网络的组合，我们的算法能够为每个数据样本和时间步长构建定制的细胞结构，允许比现有模型更有效的架构搜索。在三个常见数据集上的实验表明，该算法发现了高性能的细胞结构，并在语言建模和情感分析方面取得了比GRU结构更好的预测精度。
2019-05-25 cs.LG cs.NE stat.ML
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.（谷歌公司）
我们研究压缩循环神经网络（RNN）的问题。特别是，我们专注于RNN声学模型的压缩，这是出于建立紧凑和准确的语音识别系统，可以有效地运行在移动设备上的目标。在这项工作中，我们提出了一种技术，一般经常性的模型压缩，共同压缩经常性和非经常性层间权重矩阵。我们发现，所提出的技术允许我们将长短期记忆（LSTM）声学模型的大小减少到其原始大小的三分之一，而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用，以从新闻文章的文本中生成标题。我们发现，该模型是相当有效的，在简明的释义新闻文章。此外，我们还研究了神经网络如何决定要注意哪些输入单词，特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是，我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE
Classification of postoperative surgical site infections from blood measurements with missing data using recurrent neural networks
UiT The Arctic University of Norway（挪威北极大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
可以表示为时间序列的临床测量构成电子健康记录的重要部分，并且通常是不确定和不完整的。循环神经网络是一类特殊的神经网络，特别适合于处理时间序列数据，但在其原始公式中，不能显式处理缺失数据。在本文中，我们探讨了基于递归神经网络（RNN）的分类器中处理缺失值的插补策略，并应用了最近提出的递归架构，即具有衰减的门控递归单元（Gated Recurrent Unit with Decay），专门用于处理缺失数据。我们专注于通过分析患者血液样本测量的时间序列来检测患者手术部位感染的问题，并比较了使用不同的基于RNN的分类器获得的结果。
2017-11-17 cs.CY cs.LG cs.NE
Quasi-Recurrent Neural Networks
Salesforce Research（Salesforce研究院）
循环神经网络是一个强大的工具，用于建模序列数据，但每个时间步的计算依赖于前一个时间步的输出限制了并行性，使RNN笨拙的非常长的序列。我们介绍了准递归神经网络（QRNNs），这是一种交替卷积层的神经序列建模方法，它在时间步上并行应用，以及一种在通道上并行应用的最小递归池化函数。尽管缺乏可训练的递归层，但堆叠的QRNN比具有相同隐藏大小的堆叠LSTM具有更好的预测准确性。由于它们的并行性增加，它们在训练和测试时的速度提高了16倍。语言建模，情感分类和字符级神经机器翻译的实验证明了这些优势，并强调了QRNN作为各种序列任务的基本构建块的可行性。
2016-11-21 cs.AI cs.CL cs.LG
Applying Policy Iteration for Training Recurrent Neural Networks
循环神经网络常用于学习时间序列数据。基于一些假设，我们将此学习任务建模为非线性最小二乘成本函数的最小化问题。成本函数的特殊结构使我们能够与强化学习建立联系。我们利用这种连接，并得出一个收敛的，基于策略迭代的算法。此外，我们认为，RNN训练可以很自然地融入强化学习框架。
2004-10-02 cs.AI cs.LG cs.NE
Online Representation Learning in Recurrent Neural Language Models
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了递归神经网络语言模型中连续在线学习的扩展。该模型保留了当前正在处理的文本单元的单独矢量表示，并在每次预测后对其进行自适应调整。初步实验给出了有希望的结果，表明该方法能够提高语言建模的准确性，同时还减少了存储模型所需的参数以及每一步所需的计算。
2015-08-16 cs.CL cs.LG cs.NE
Dropout improves Recurrent Neural Networks for Handwriting Recognition
A2iA；SUTD（新加坡科技设计大学）；LIMSI CNRS（法国国家科学研究中心机械与工程计算机科学实验室）
具有长短期记忆细胞的循环神经网络（RNN）目前在无约束手写识别中具有最好的结果。我们表明，使用dropout -最近提出的深度架构正则化方法，可以大大提高它们的性能。虽然以前的工作表明，dropout在卷积网络的背景下具有更好的性能，但它从未应用于RNN。在我们的方法中，在网络中仔细使用dropout，以便它不会影响循环连接，因此保留了RNN在建模序列中的能力。在广泛的手写数据库上进行的大量实验证实了dropout在深度架构上的有效性，即使网络主要由循环和共享连接组成。
2014-03-10 cs.CV cs.LG cs.NE
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research（微软研究院）
在本文中，我们研究了使用预测-自适应-校正循环神经网络（PAC-RNN）的低资源语音识别。PAC-RNN由一对神经网络组成，其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络（DNN，LSTM）。此外，从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Grounded Recurrent Neural Networks
CIMS, New York University（纽约大学库朗数学科学研究所）；CSAIL & IMES, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所）
在这项工作中，我们提出了接地递归神经网络（GRNN），这是一种用于多标签预测的递归神经网络架构，它明确地将标签与递归隐藏状态的特定维度联系起来（我们称这个过程为“接地”）。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题，即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集，我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明，在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Decoupling Hierarchical Recurrent Neural Networks With Locally Computable Losses
ETH Zürich（苏黎世联邦理工学院）
学习长期依赖性是循环神经网络（RNN）的一个关键的长期挑战。分层循环神经网络（HRNN）被认为是一种很有前途的方法，因为长期依赖性是通过层次结构上下的捷径来解决的。然而，截断反向传播时间（TBPTT）的内存要求仍然阻止在非常长的序列上训练它们。在本文中，我们通过经验证明，在（深度）HRNN中，从较高级别到较低级别的传播梯度可以被本地可计算的损失所取代，而不会损害网络的学习能力，在广泛的任务范围内。与标准TBPTT相比，通过局部损失的这种解耦在层次结构的深度上以指数因子降低了训练的存储器需求。
2019-10-11 cs.LG cs.NE stat.ML
Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation
Flatiron Institute（弗莱德哈钦森研究所）；Harvard University（哈佛大学）；New York University School of Medicine（纽约大学医学院）
本研究对比介导递归通信的中间神经元网络与直接递归连接网络，发现前者对初始化更鲁棒、收敛更快，揭示了中间神经元在快速统计适应中的计算作用，为递归网络的隐式加速提供了类比。
2023-08-24 cs.LG cs.NE q-bio.NC
Detecting Interrogative Utterances with Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）
在本文中，我们探讨了不同的神经网络架构，可以预测一个给定的话语的扬声器是问一个问题或作出声明。我们比较了普遍用于训练深度神经网络的正则化方法的结果，并研究了不同的上下文函数如何影响分类性能。我们还比较了门控激活函数的功效，这些激活函数在循环神经网络中得到了很好的应用，并研究了如何结合多模态输入。我们在两个多模态数据集上评估了我们的模型：MSR-Skype和CALLHOME。
2015-11-16 cs.CL cs.LG cs.NE
Gated Feedback Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
在这项工作中，我们提出了一种新的递归神经网络（RNN）架构。所提出的RNN，门控反馈RNN（GF-RNN），扩展了现有的堆叠多个递归层的方法，允许和控制信号从上层递归层流向下层，每对层使用全局门控单元。基于先前的隐藏状态和当前输入，层之间交换的递归信号被自适应地选通。我们评估了所提出的GF-RNN与不同类型的递归单元，如tanh，长短期记忆和门控递归单元，在字符级语言建模和Python程序评估的任务。我们对不同RNN单元的经验评估表明，在这两项任务中，GF-RNN都优于构建深度堆叠RNN的传统方法。我们认为，之所以会出现这种改进，是因为GF-RNN可以通过学习门控这些交互，自适应地将不同的层分配给不同的时间尺度和层与层的交互（包括通常不存在于堆栈RNN中的自上而下的交互）。
2015-06-17 cs.LG cs.NE stat.ML
DRAW: A Recurrent Neural Network For Image Generation
Google DeepMind（谷歌DeepMind）
本文介绍了用于图像生成的深度递归注意书写（DRAW）神经网络架构。DRAW网络结合了一种新的空间注意力机制，模仿人眼的视觉中心凹，与顺序变分自动编码框架，允许复杂图像的迭代构建。该系统大大改进了MNIST上生成模型的最新技术水平，并且当在街景房屋号码数据集上进行训练时，它生成的图像无法用肉眼与真实数据区分开来。
2015-05-20 cs.CV cs.LG cs.NE
Universal Time-Uniform Trajectory Approximation for Random Dynamical Systems with Recurrent Neural Networks
循环神经网络的能力，以近似随机动力系统的轨迹，随机输入，非紧域，并在一个不确定的或无限的时间范围被认为是。主要结果表明，无限时间范围内的某些随机轨迹可以通过具有简单反馈结构的某类深度循环神经网络来近似为任何期望的精度，在时间上均匀。这里的配方与相关文献中关于这一主题，其中大部分是限制在紧凑的状态空间和有限的时间间隔。这里所要求的模型条件是自然的、温和的、易于检验的，证明也非常简单。
2022-11-15 cs.LG cs.NE math.DS
Author Identification using Multi-headed Recurrent Neural Networks
循环神经网络（RNN）非常擅长对文本流进行建模，但通常需要在比PAN 2015作者识别任务大得多的语料库上进行训练。本文描述了一种新的方法，其中字符级RNN语言模型的输出层被分成几个独立的预测子模型，每个子模型代表一个作者，而递归层由所有人共享。这允许循环层将语言作为一个整体进行建模，而不会过度拟合，而输出则选择底层模型中反映作者风格的方面。该方法具有竞争力，在四种语言中的两种中排名第一。
2016-08-16 cs.CL cs.LG cs.NE
Convolutional Recurrent Neural Networks for Music Classification
Queen Mary University of London（伦敦玛丽女王大学）；New York University（纽约大学）
我们介绍了一个卷积递归神经网络（CRNN）的音乐标签。CRNN利用卷积神经网络（CNN）进行局部特征提取，并利用循环神经网络对提取的特征进行时间总结。我们将CRNN与三种用于音乐标记的CNN结构进行比较，同时控制每个样本的性能和训练时间的参数数量。总体而言，我们发现CRNN在参数数量和训练时间方面表现出很强的性能，表明其混合结构在音乐特征提取和特征摘要中的有效性。
2016-12-21 cs.LG cs.MM cs.NE
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
我们探索了一种神经网络架构，该架构堆叠了一个递归层和一个前馈层，该前馈层也连接到输入，并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时，这些神经元被迫进入二进制激活状态，这使得网络表现得更像有限自动机。所得到的模型更简单，更易于解释，对不同的样本问题，包括正则语言的识别，不同基的加法计算和算术表达式的生成，都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
