Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了循环神经网络（RNN）的参数空间几何结构，并开发了一种适应这种几何结构的路径SGD优化方法，该方法可以学习具有ReLU激活的普通RNN。在几个需要捕获长期依赖结构的数据集上，我们表明，与使用SGD训练的RNN相比，即使使用各种最近建议的初始化方案，path-SGD也可以显着提高ReLU RNN的可训练性。
2016-05-23 cs.LG cs.NE
Optimizing and Contrasting Recurrent Neural Network Architectures
University of Edinburgh（爱丁堡大学）
递归神经网络（RNN）长期以来一直被认为具有建模复杂时间序列的潜力。然而，仍然需要确定什么样的优化技术和递归架构可以用来最好地实现这一潜力。提出的实验深入研究海森自由优化，一个强大的二阶优化方法，已显示出有前途的结果，但仍然没有得到广泛的使用。该算法被用于训练到许多RNN架构，包括标准RNN，长短期记忆，乘法RNN和堆叠RNN的字符预测任务。从这些实验中获得的见解导致创建了一种新的乘法LSTM混合架构，其性能优于LSTM和乘法RNN。当在更大规模上进行测试时，乘法LSTM使用非常不同的方法实现了与RNN最新技术水平竞争的字符级建模结果。
2015-10-16 cs.LG cs.NE stat.ML
Gated recurrent neural networks discover attention
ETH Zürich（苏黎世联邦理工学院）
本研究揭示，配备线性循环层和乘法门控的现代RNN能精确实现自注意力，且梯度下降训练使其在上下文学习任务中采用与Transformer相同的基于注意力的算法，凸显了乘法交互的关键作用。
2024-02-07 cs.LG cs.NE
Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network
Intel Labs（英特尔实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的工作表明，对递归神经网络（RNN）的拓扑增强可以提高其表达能力和代表能力。两种流行的增强是堆叠RNN，它增加了学习非线性函数的能力，以及双向处理，它利用序列中的因果信息。在这项工作中，我们探索了延迟RNN，这是一个单层RNN，在输入和输出之间有延迟。我们证明了延迟RNN的权重约束版本等价于堆叠RNN。我们还表明，延迟引起的部分因果关系，很像双向网络。合成实验证实，延迟RNN可以模拟双向网络，类似地解决一些因果任务，并在其他方面优于它们。此外，我们在现实世界的自然语言处理任务中表现出与双向网络相似的性能。这些结果表明，延迟RNN可以近似拓扑结构，包括堆叠RNN，双向RNN和堆叠双向RNN-但延迟RNN的运行时间相同或更快。
2020-06-18 cs.CL cs.LG cs.NE
Gating Revisited: Deep Multi-layer RNNs That Can Be Trained
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们为递归神经网络（RNN）提出了一种新的STackable Recurrent cell（STAR），它比广泛使用的LSTM和GRU具有更少的参数，同时对消失或爆炸梯度更具鲁棒性。将递归单元堆叠到深度架构中受到两个主要限制：（i）许多递归单元（例如，LSTM）在参数和计算资源方面是昂贵的;（ii）深度RNN在训练过程中容易消失或爆炸梯度。我们研究了多层RNN的训练，并检查了梯度在“垂直”方向上通过网络传播时的大小。我们表明，根据基本的经常性单位的结构，梯度系统衰减或放大。基于我们的分析，我们设计了一种新型的门控单元，更好地保持梯度幅度。我们验证了我们的设计大量的序列建模任务，并表明，拟议的STAR细胞允许建立和训练更深的经常性架构，最终导致性能提高，同时计算更高效。
2021-03-06 cs.CV cs.LG
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Sparse Persistent RNNs: Squeezing Large Recurrent Networks On-Chip
NVIDIA（英伟达公司）
递归神经网络（RNN）是解决基于序列的问题的强大工具，但其效率和执行时间取决于网络的大小。在最近通过模型修剪和将工作映射到GPU来简化这些网络的工作之后，我们为稀疏RNN设计了一个有效的实现。我们研究了几个优化和权衡：Lamport时间戳，宽内存负载和银行感知的权重布局。通过这些优化，对于大小为2304的隐藏层，批量大小为4，密度为30%的下一个最佳算法，我们实现了超过6倍的加速。此外，我们的技术允许超过5倍大小的模型适合GPU，加速2倍，使更大的网络，以帮助推进最先进的。我们在附录中对NMT和语音识别任务进行案例研究，将其循环层加速高达3倍。
2018-04-26 cs.DC cs.LG cs.NE
Diagonal RNNs in Symbolic Music Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）
在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。
2017-04-19 cs.LG cs.NE stat.ML
Assessing the Memory Ability of Recurrent Neural Networks
Tianjin University（天津大学）；University of Padua（帕多瓦大学）；Beijing Institute of Technology（北京理工大学）
已知循环神经网络（RNN）可以在其隐藏层中记住由序列表达的部分语义信息（例如，一个句子）正在被处理。设计了不同类型的递归单元，使RNN能够在更长的时间跨度内记住信息。然而，不同递归单元的记忆能力在理论上和经验上仍然不清楚，从而限制了更有效和可解释的RNN的发展。为了解决这个问题，本文识别和分析了影响RNN记忆能力的内部和外部因素，并提出了一个语义欧氏空间来表示序列所表达的语义。基于语义欧氏空间，定义了一系列评价指标来衡量不同递归单元的记忆能力，并分析了它们的局限性。这些评估指标也为训练过程中为不同的RNN选择合适的序列长度提供了有用的指导。
2020-02-18 cs.CL cs.LG cs.NE
Adversarial Dropout for Recurrent Neural Networks
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究中心）；KAIST（韩国科学技术院）；AI Center, SK Telecom（SK电讯AI中心）
成功的应用程序处理序列数据，如文本和语音，需要提高循环神经网络（RNN）的泛化性能。RNN的丢弃技术被引入以响应这些需求，但我们推测RNN的丢弃可以通过采用对抗概念来改进。本文研究了通过利用有意生成的丢弃掩码来改善RNN的丢弃的方法。具体来说，本研究中使用的引导性退出被称为对抗性退出，它会随着时间的推移对抗性地断开主要用于预测正确目标的神经元。我们的分析表明，我们的正则化器由原始和重新配置的RNN之间的间隙组成，是随机丢弃的训练和推理阶段之间间隙的上界。我们证明了最小化正则化器可以提高RNN在顺序MNIST任务，半监督文本分类任务和语言建模任务中的dropout的有效性。
2019-04-22 cs.LG stat.ML
Particle Filter Recurrent Neural Networks
National University of Singapore（新加坡国立大学）
循环神经网络（RNN）在序列数据的预测方面取得了巨大的成功。为了处理高度可变和嘈杂的现实世界数据，我们引入了粒子滤波循环神经网络（PF-RNN），这是一种新的RNN家族，它明确地模拟其内部结构中的不确定性：虽然RNN依赖于一个长的，确定性的潜在状态向量，但PF-RNN保持了一个潜在的状态分布，近似为一组粒子。为了有效学习，我们提供了一个完全可微的粒子滤波算法，该算法根据贝叶斯规则更新PF-RNN潜在状态分布。实验表明，所提出的PF-RNN在合成机器人定位数据集和10个真实世界序列预测数据集上的文本分类，股票价格预测等方面优于相应的标准门控RNN。
2019-12-01 cs.LG stat.ML
Recurrent Neural Networks (RNNs): A gentle Introduction and Overview
Eberhard-Karls-University Tübingen（图宾根埃伯哈德·卡尔斯大学）
“语言建模和生成文本”、“语音识别“、“生成图像描述”或“视频标记”领域的最先进解决方案一直使用循环神经网络作为其方法的基础。因此，如果我们想跟上这些领域最近或即将出版的出版物，了解基本概念至关重要。在这项工作中，我们给出了一个简短的概述在循环神经网络领域的一些最重要的概念，使读者能够很容易地理解的基本面，如但不限于“通过时间的反向传播”或“长短期记忆单位”，以及一些最近的进展，如“注意力机制“或“指针网络”。我们还提供了必要时进一步阅读更复杂主题的建议。
2019-11-23 cs.LG stat.ML
Architectural Complexity Measures of Recurrent Neural Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；University of Toronto（多伦多大学）；Institut des Hautes Études Scientifiques, France（法国高等科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文系统地分析了循环神经网络（RNN）的连接结构。我们的主要贡献是两方面的：首先，我们提出了一个严格的图论框架，描述了一般RNN的连接架构。其次，我们提出了RNN的三种架构复杂度度量：（a）递归深度，它捕获RNN随时间的非线性复杂度，（b）前馈深度，它捕获局部输入输出非线性（类似于前馈神经网络（FNN）中的“深度”），以及（c）递归跳跃系数，它捕获信息随时间传播的速度。我们严格证明了每一个措施的存在性和可计算性。我们的实验结果表明，RNN可能受益于更大的递归深度和前馈深度。我们进一步证明，增加经常性跳跃系数提供了长期依赖问题的性能提升。
2016-11-12 cs.LG cs.NE
Regularizing Recurrent Networks - On Injected Noise and Norm-based Methods
Technische Universität München（慕尼黑工业大学）
在过去的几十年里，并行处理的进步导致了多层感知器（MLP）应用和深度学习的激增。递归神经网络（RNN）通过提供一种处理序列数据的方法，为前馈MLP提供了额外的表示能力。然而，RNN很难使用传统的误差反向传播方法进行训练，因为很难将许多时间步长上的输入相关联。来自MLP领域的正则化方法，如dropout和噪声权重训练，在简单的RNN上没有得到充分的应用和测试。此外，已经提出了解决方案来改善RNN的收敛性，但不足以改善其长期依赖性记忆能力。在这项研究中，我们的目标是实证评估复调音乐数据集上RNN的记忆和泛化能力。这些模型使用注入噪声、随机丢弃、基于范数的正则化器进行训练，并与初始化良好的普通RNN和快速丢弃等高级正则化方法进行比较。我们得出结论，有证据表明，噪声训练并不能提高性能，这是我们之前在RNN优化方面的一些工作所证明的。
2014-10-21 cs.LG stat.ML
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Extensional Properties of Recurrent Neural Networks
Roosevelt University（罗斯福大学）
该研究提出循环神经网络（RNN）的外延性质概念，证明了RNN版本的Rice定理，指出RNN的任何非平凡外延性质均不可判定，回答了RNN外延性质检测的一般性问题。
2024-10-30 cs.LG cs.NE
Uncertainty Estimation and Calibration with Finite-State Probabilistic RNNs
NEC Laboratories Europe（NEC欧洲实验室）
不确定性量化对于构建可靠和可信的机器学习系统至关重要。我们建议通过递归时间步上的随机离散状态转换来估计递归神经网络（RNN）中的不确定性。模型的不确定性可以通过多次运行预测来量化，每次从经常性状态转换分布中采样，如果模型不确定，则可能导致不同的结果。除了不确定性量化，我们提出的方法在不同的设置提供了几个优点。所提出的方法可以（1）从数据中学习确定性和概率自动机，（2）在真实世界的分类任务中学习校准良好的模型，（3）提高分布外检测的性能，（4）控制强化学习中的探索-利用权衡。
2020-11-24 cs.LG
Real-Time Recurrent Learning using Trace Units in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
针对部分可观测环境下在线强化学习中标准RNN用RTRL训练成本过高的问题，提出对线性循环架构小幅修改的循环迹单元RTUs，在多个环境中性能更优且计算量更低。
2024-10-30 cs.AI cs.LG
Rethinking the Relationship between Recurrent and Non-Recurrent Neural Networks: A Study in Sparsity
Worcester Polytechnic Institute（伍斯特理工学院）；Colorado State University（科罗拉多州立大学）
本文提出循环与非循环神经网络并非截然不同的算法家族，通过将RNN、MLP和深度Transformer统一表示为迭代映射，揭示它们在连续谱上的深层联系，从而为神经网络的理论与训练实践提供新见解。
2024-04-01 cs.LG
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology（长沙理工大学）；Honam University（湖南大学）
循环神经网络（RNN）已被广泛应用于处理时态问题，如洪水预报和金融数据处理。一方面，由于严格的时间序列依赖性，传统的RNN模型放大了梯度问题，使得难以实现长期记忆功能。另一方面，RNN细胞是高度复杂的，这将显著增加计算复杂性，并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络（TFC-RNNs）模型来解决梯度问题。在时间t-2处引入一个并行分支，将隐藏状态直接转移到时间t，而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上，提出了一种新的单元结构--单栅递归单元（SGRU）。这种单元结构可以减少RNN单元的参数数量，从而降低计算复杂性。接下来，将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后，通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明，我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500，有效地过滤掉噪声。在语言处理能力方面，TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
An Empirical Evaluation of Rule Extraction from Recurrent Neural Networks
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
从黑盒模型中提取规则对于需要在实现之前进行模型验证的领域至关重要，例如信用评分和医疗诊断。虽然在一般的统计学习中已经是一个具有挑战性的问题，但当高度非线性的递归模型（如循环神经网络（RNN））适合数据时，难度甚至更大。在这里，我们研究的规则提取二阶循环神经网络训练识别富田文法。我们表明，产生式规则可以稳定地从训练的RNN中提取，并且在某些情况下，规则优于训练的RNN。
2018-11-14 cs.LG
Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence
Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电子与电气工程系）；Imperial College London（帝国理工学院）
递归神经网络（RNN）是序列建模中最成功的机器学习模型之一，但在处理大型多维数据时，往往会遇到参数数量呈指数增长的问题。为此，我们开发了一个多线性图过滤器框架，用于近似RNN中隐藏状态的建模，该框架嵌入在张量网络架构中，以提高建模能力并降低参数复杂性，从而产生一种新的递归图张量网络（RGTN）。通过几个多路序列建模任务验证了所提出的框架，并以传统的RNN为基准。凭借图过滤器的域感知信息处理和张量网络的表达能力，我们表明，建议的RGTN不仅能够超越标准RNN，而且还减轻了与传统RNN相关的诅咒，在性能和复杂性方面表现出优越的性能。
2021-05-11 cs.LG stat.ML
How Many Samples are Needed to Estimate a Convolutional or Recurrent Neural Network?
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
人们普遍认为，卷积神经网络（CNN）和递归神经网络（RNN）的实际成功归因于CNN和RNN使用比其全连接神经网络（FNN）对应物更紧凑的参数表示，因此需要更少的训练示例来准确估计其参数。我们开始研究严格表征估计CNN和RNN的样本复杂性。我们证明了学习CNN和RNN的样本复杂度与它们的内在维度成线性关系，并且这种样本复杂度比它们的FNN对应物小得多。对于CNN和RNN，我们还提出了下界，表明我们的样本复杂度接近对数因子。我们得出这些结果的主要技术工具是一个本地化的经验过程分析和一个新的技术引理表征卷积和经常性的结构。我们相信这些工具可能会激发对CNN和RNN的进一步理解。
2019-06-30 cs.AI cs.CV cs.LG
Resurrecting Recurrent Neural Networks for Long Sequences
ETH Zurich（苏黎世联邦理工学院）；DeepMind（深度思维）
循环神经网络（RNN）提供了对长序列的快速推理，但难以优化，训练缓慢。深度状态空间模型（SSM）最近被证明在长序列建模任务中表现出色，并且具有快速并行训练和RNN快速推理的额外好处。然而，虽然SSM表面上与RNN相似，但仍存在重要的差异，因此不清楚它们相对于RNN的性能提升来自何处。在本文中，我们证明了使用标准信号传播参数精心设计深度RNN可以恢复深度SSM在远程推理任务中令人印象深刻的性能，同时还可以匹配它们的训练速度。为了实现这一目标，我们分析并消除了标准RNN的一系列变化，包括线性化和对角化递归，使用更好的参数化和初始化，并确保正确的正向传递规范化。我们的研究结果为深度SSM令人印象深刻的性能的起源提供了新的见解，同时还引入了一个称为线性递归单元的RNN块，该块与它们在长距离竞技场基准测试中的性能和计算效率相匹配。
2023-03-11 cs.LG
Optimizing Bayesian Recurrent Neural Networks on an FPGA-based Accelerator
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
神经网络已经在广泛的任务中展示了其出色的性能。特别是基于长短期记忆（LSTM）单元的递归架构已经表现出对真实世界数据中的时间依赖性建模的出色能力。然而，标准的递归架构不能估计它们的不确定性，这对于安全关键应用（如医学）至关重要。相比之下，贝叶斯循环神经网络（RNN）能够提供具有改进的准确性的不确定性估计。尽管如此，贝叶斯RNN在计算和内存方面都有很高的要求，这限制了它们的实用性。为了解决这个问题，我们提出了一种基于FPGA的硬件设计来加速基于贝叶斯LSTM的RNN。为了进一步提高整体算法硬件性能，提出了一个协同设计框架，以探索最适合贝叶斯RNN的算法硬件配置。我们在医疗应用程序上进行了广泛的实验，以证明我们的设计和我们的框架的有效性的改进。与GPU实现相比，我们基于FPGA的设计可以实现高达10倍的加速比和近106倍的能效。据我们所知，这是第一个针对FPGA上贝叶斯RNN加速的工作。
2021-11-07 cs.LG
Brief technical note on linearizing recurrent neural networks (RNNs) before vs after the pointwise nonlinearity
University of Edinburgh（爱丁堡大学）；Ecole Normale Superieure - PSL Research University（巴黎高等师范学院-PSL研究大学）；INSERM（法国国家健康与医学研究院）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Princeton University（普林斯顿大学）
该技术笔记比较了循环神经网络在逐点非线性前后的线性化，揭示了两者及其动力学矩阵特征向量间的关系，并指出特定上下文相关效应仅在activity动力学线性化中显现。
2023-09-07 cs.LG q-bio.NC
On Generalization Bounds of a Family of Recurrent Neural Networks
Georgia Tech（佐治亚理工学院）；Princeton University（普林斯顿大学）
循环神经网络（RNN）已被广泛应用于序列数据分析。然而，由于其复杂的模型结构，其背后的理论在很大程度上仍然缺失。为了将理论和实践联系起来，我们研究了香草RNN及其变体的泛化特性，包括最小门控单元（MGU），长短期记忆（LSTM）和卷积（Conv）RNN。具体而言，我们的理论是建立在PAC学习框架下。广义界的权重矩阵的谱范数和参数的总数。我们还建立了细化的推广界与额外的范数假设，并得出这些界限之间的比较。我们注意到：（1）我们对vanilla RNN的泛化范围比现有的最佳结果要严格得多;（2）我们不知道现有文献中MGU，LSTM和Conv RNN的任何其他泛化范围;（3）我们证明了这些变体在泛化方面的优势。
2019-11-04 cs.LG stat.ML
RNNSecureNet: Recurrent neural networks for Cyber security use-cases
Center for Computational Engineering and Networking (CEN)（计算工程与网络中心（CEN））；Amrita School of Engineering（阿姆里塔工程学院）；Amrita Vishwa Vidyapeetham（阿姆里塔维迪亚佩瑟姆大学）
递归神经网络（RNN）是一种有效的神经网络，在解决非常复杂的有监督和无监督任务方面有着广泛的应用。RNN在自然语言处理、语音处理、计算机视觉等多个领域都取得了显著的进展。本文介绍了RNN在不同用例中的应用，如事件检测，欺诈检测和Android恶意软件分类。通过对不同的网络参数和结构进行不同的实验链来选择性能最好的神经网络结构。该网络运行了1000个epoch，学习率设置在0.01到0.5的范围内。显然，与经典的机器学习算法相比，RNN表现得非常好。这主要是可能的，因为RNN隐式地提取了底层特征，并识别了数据的特征。这有助于实现更好的准确性。
2019-01-05 cs.CR cs.LG
Variational Adaptive Noise and Dropout towards Stable Recurrent Neural Networks
National Institute of Informatics (NII)（国家信息研究所）；The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学）；Department of Electronics and Electrical Engineering, Faculty of Science and Technology, Keio University（科技学部电子电气工学科，庆应大学）
本文提出变分自适应噪声与Dropout方法，通过变分推断实现RNNs的稳定学习，有效模仿序列和周期性行为。
2025-06-02 cs.LG cs.RO
RNNs Evolving on an Equilibrium Manifold: A Panacea for Vanishing and Exploding Gradients?
Boston University（波士顿大学）；MERL（三菱电机研究实验室）
递归神经网络（RNN）特别适合于对序列数据中的长期依赖关系进行建模，但众所周知，它很难训练，因为在时间上反向传播的误差要么消失，要么以指数速度爆炸。虽然一些作品试图通过门控经常性单位，精心选择的参数约束和跳跃连接来减轻这种影响，但我们开发了一种新的视角，旨在发展常微分方程（ODE）平衡流形上的隐藏状态。我们提出了一个新的RNN，即{ \em平衡递归神经网络}（ERNN），克服了梯度衰减或爆炸效应，并导致在平衡流形上演化的递归模型。我们表明，平衡点是稳定的，导致快速收敛的离散常微分方程的不动点。此外，ERNN考虑了长期依赖性，并且可以有效地回忆起遥远过去的数据的信息方面。我们表明，ERNN在许多具有挑战性的数据集上实现了最先进的准确性，具有3- 10倍的加速比，1.5- 3倍的模型大小减少，并且相对于普通RNN具有类似的预测成本。
2019-08-26 cs.LG stat.ML
Empirical Analysis of Limits for Memory Distance in Recurrent Neural Networks
Institute for Informatics, LMU Munich（慕尼黑大学信息学研究所）
所有不同类型的循环神经网络（RNN）的共同点是对数据点之间的时间关系进行建模。当后续数据点之间没有直接关系时（例如，当数据点随机生成时），我们证明了RNN仍然能够通过使用标准的反向传播来记住一些数据点。然而，我们还表明，对于经典的RNN，LSTM和GRU网络，可以以这种方式复制的递归调用之间的数据点距离是非常有限的（与数据点之间的松散连接相比），并且受到RNN类型和大小的各种约束。这意味着相关数据点之间的距离存在一个硬限制（远低于信息论的限制），在此范围内，RNN仍然能够识别所述关系。
2022-12-20 cs.CV cs.LG
Dropout improves Recurrent Neural Networks for Handwriting Recognition
A2iA；SUTD（新加坡科技设计大学）；LIMSI CNRS（法国国家科学研究中心机械与工程计算机科学实验室）
具有长短期记忆细胞的循环神经网络（RNN）目前在无约束手写识别中具有最好的结果。我们表明，使用dropout -最近提出的深度架构正则化方法，可以大大提高它们的性能。虽然以前的工作表明，dropout在卷积网络的背景下具有更好的性能，但它从未应用于RNN。在我们的方法中，在网络中仔细使用dropout，以便它不会影响循环连接，因此保留了RNN在建模序列中的能力。在广泛的手写数据库上进行的大量实验证实了dropout在深度架构上的有效性，即使网络主要由循环和共享连接组成。
2014-03-10 cs.CV cs.LG cs.NE
A Convex Parameterization of Robust Recurrent Neural Networks
Australian Centre for Field Robotics（澳大利亚野外机器人中心）；The University of Sydney（悉尼大学）
循环神经网络（RNN）是一类非线性动态系统，常用于序列到序列映射的建模。RNN具有出色的表达能力，但缺乏许多应用所需的稳定性或鲁棒性保证。在本文中，我们制定了具有稳定性和鲁棒性保证的RNN凸集。使用增量二次约束导出保证，并且可以确保所有解的全局指数稳定性，以及增量$ \ell_2 $增益（学习序列到序列映射的Lipschitz常数）的界限。使用隐式模型结构，我们构造了一个参数化的RNN，它在模型参数和稳定性证书中是联合凸的。我们证明了这个模型结构包括所有以前提出的稳定RNN的凸集作为特殊情况，也包括所有稳定的线性动力系统。我们说明了在非线性系统辨识的背景下，所提出的模型类的效用。
2020-10-03 cs.LG cs.SY eess.SY
DeepIEP: a Peptide Sequence Model of Isoelectric Point (IEP/pI) using Recurrent Neural Networks (RNNs)
Wildcard Pharmaceutical Consulting（Wildcard 制药咨询公司）
等电点（IEP或pI）是指肽和蛋白质分子系综上的净电荷为零的pH值。这种物理化学性质取决于可质子化/可去质子化的侧链及其pKa值。在这里，使用具有长短期记忆（LSTM）细胞的递归神经网络（RNN）从肽序列和pI的数据库训练pI预测模型。对于外部测试集，经训练的模型获得0.28和0.95的RMSE和R $^2$。该模型不是基于pKa值，但构建的测试序列的预测显示与已知的pKa值相似的排名。该预测主要依赖于已知的酸性和碱性氨基酸的存在，并根据肽链中带电氨基酸的相邻序列和位置进行微调。
2017-12-27 cs.LG q-bio.BM q-bio.QM
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；Department of Mathematics and Statistics（数学与统计系）
该研究提出用于解释RNN机理的情景记忆理论，通过设计变量绑定任务验证RNN会收敛到对应回路，并提出特权基算法提升RNN可解释性，为理解RNN机制和衔接人工神经网络与神经记忆模型提供了新路径。
2023-10-03 cs.AI cs.LG cs.NE
State-Regularized Recurrent Neural Networks
NEC Laboratories Europe（NEC欧洲实验室）
循环神经网络是一类广泛使用的神经网络结构。然而，它们有两个缺点。首先，很难理解他们到底学到了什么。第二，它们在需要长期记忆的序列上往往效果不佳，尽管原则上它们具有这种能力。我们的目标是解决这两个缺点与一类经常性的网络，使用细胞应用程序之间的随机状态转换机制。这种机制，我们称之为状态正则化，使RNN在有限的可学习状态集之间转换。我们评估状态正则化RNN（1）用于自动机提取的正则语言;（2）非正则语言，如平衡括号，回文和需要外部内存的复制任务;（3）用于情感分析，视觉对象识别和语言建模的实词序列学习任务。我们证明了状态正则化（a）简化了对RNN状态转换动力学建模的有限状态自动机的提取;（b）迫使RNN更像具有外部存储器的自动机而不像有限状态机;（c）使RNN具有更好的可解释性和可解释性。
2019-05-07 cs.LG stat.ML
Automatic Construction of a Recurrent Neural Network based Classifier for Vehicle Passage Detection
Skoltech（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）
递归神经网络（RNN）广泛用于时间序列建模和预测。提出了一种基于长短期记忆RNNs（LSTM-RNNs）的二元分类器的自动构造方法，用于检测通过检查站的车辆。作为分类器的输入，我们使用安装在检查点上的各种传感器的多维信号。获得的结果表明，以前的方法手工制作的分类器，由一组确定性的规则，可以成功地取代自动RNN训练适当标记的数据。
2016-09-26 cs.CV cs.LG stat.ML
A Fully Tensorized Recurrent Neural Network
Mila - McGill University（Mila - 麦吉尔大学）；Ubenwa Health；Google DeepMind（谷歌DeepMind）
递归神经网络（RNN）是序列建模的强大工具，但通常需要显著的过度参数化和正则化来实现最佳性能。这导致在资源有限的环境中部署大型RNN的困难，同时也在超参数选择和训练中引入了复杂性。为了解决这些问题，我们引入了一个“完全张量化”的RNN架构，该架构使用轻量级张量训练（TT）因子分解对每个递归单元内的单独权重矩阵进行联合编码。这种方法代表了一种新的权重共享形式，它将模型大小降低了几个数量级，同时与标准RNN相比仍然保持类似或更好的性能。在图像分类和说话人确认任务上的实验证明了减少推理时间和稳定模型训练和超参数选择的进一步好处。
2021-11-10 cs.LG stat.ML
On Scrambling Phenomena for Randomly Initialized Recurrent Networks
University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of California, Irvine（加州大学欧文分校）；Columbia University（哥伦比亚大学）
递归神经网络（RNN）经常表现出复杂的动态特性，并且它们对初始化过程的敏感性通常使它们难以训练。最近的工作揭示了这种现象分析时，爆炸或消失的梯度可能会发生，这两种情况都是有害的训练动态。在本文中，我们指出了RNN和混沌动力系统之间的正式联系，并证明了RNN的一个比爆炸梯度所暗示的更强的定性现象。我们的主要结果证明，在标准初始化（例如，他，泽维尔等），RNN将表现出\textit{Li-Yorke chaos}，其中\textit{constant}概率为网络宽度的\textit{independent}。这解释了实验观察到的\textit{scrambling}现象，在该现象下，附近点的轨迹可能在某些时间步长期间看起来任意接近，但在未来的时间步长中将远离。与它们的前馈对应物形成鲜明对比的是，我们表明RNN中的混沌行为在小扰动下保持不变，并且它们的表达能力在反馈迭代次数中保持指数级。我们的技术论点依赖于将RNN视为非线性激活下的随机游走，并研究某些类型的高阶不动点的存在，称为\textit{periodic points}，导致从有序到混沌的相变。
2022-10-11 cs.AI cs.LG
R2N2: Residual Recurrent Neural Networks for Multivariate Time Series Forecasting
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；IBM Research, T. J. Watson Research Center（IBM研究院托马斯·J·沃森研究中心）
多变量时间序列建模与预测是一个具有广泛应用前景的重要问题。传统的方法，如VAR（向量自回归）模型和最近的方法，如RNN（循环神经网络）是建模时间序列数据不可或缺的工具。在许多多变量时间序列建模问题中，通常存在显著的线性依赖分量，VAR适用于该分量，以及非线性分量，RNN适用于该分量。仅使用VAR或仅使用RNN对此类时间序列进行建模可能会导致预测性能差或模型复杂，训练时间长。在这项工作中，我们提出了一种称为R2N2（残差RNN）的混合模型，它首先用简单的线性模型（如VAR）对时间序列进行建模，然后使用RNN对其残差进行建模。R2N2可以使用VAR和RNN的现有算法进行训练。通过对两个真实世界数据集（航空和气候领域）的广泛实证评估，我们表明R2N2具有竞争力，通常优于单独使用的VAR或RNN。我们还表明，与RNN相比，R2N2的训练速度更快，同时需要更少的隐藏单元。
2017-09-10 cs.LG stat.ML
Coupled Recurrent Network (CRN)
The Hong Kong University of Science and Technology（香港科技大学）；Stanford University（斯坦福大学）；Samsung Strategy and Innovation Center, USA（三星战略与创新中心（美国））；South China University of Technology（华南理工大学）
许多语义视频分析任务可以从多个异构信号中受益。例如，除了原始RGB输入序列之外，通常使用光流序列来提高视频中的人类动作识别的性能。为了从这些异构的输入源中学习，现有的方法回复了双流架构设计，其中包含独立的并行递归神经网络（RNN）流。然而，双流RNN并没有完全利用多个信号中包含的互逆信息，更不用说以循环的方式利用它了。为此，我们在本文中提出了一种新的经常性架构，称为耦合递归网络（CRN），处理多个输入源。在CRN中，RNN的并行流耦合在一起。CRN的关键设计是一个循环解释块（RIB），它支持以循环方式从多个信号中学习互逆特征表示。与RNN在每个时间步或最后一个时间步上叠加训练损失不同，我们提出了一种有效的CRN训练策略。实验结果表明，建议CRN的有效性。特别是，我们在人体动作识别和多人姿态估计的基准数据集上实现了最新的技术水平。
2019-03-25 cs.CV cs.LG
A Differential Geometry Perspective on Orthogonal Recurrent Models
Ben-Gurion University（本-古里安大学）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Technion – Israel Institute of Technology（以色列理工学院）
最近，正交递归神经网络（RNN）已经成为学习长期依赖关系的最先进模型。这类模型通过设计减轻了梯度爆炸和消失的问题。在这项工作中，我们采用微分几何的工具和见解，为正交RNN提供了一个新的视角。我们证明了正交RNN可以被视为在无发散向量场空间中进行优化。具体地说，基于微分几何中一个著名的结果，涉及向量场和线性算子，我们证明了每一个发散自由向量场是相关的反对称矩阵。受此观察的启发，我们研究了一个新的循环模型，它跨越了整个向量场空间。我们的方法通过标量函数的方向导数参数化向量场。这需要构造潜在的内积、梯度和发散算子。与最先进的正交RNN相比，我们的方法在各种基准任务上取得了相当或更好的结果。
2021-02-18 cs.LG math.DG
On the Computational Power of RNNs
最近的神经网络架构，如基本递归神经网络（RNN）和门控递归单元（GRU），已经成为自然语言处理任务的端到端学习架构。但是这种系统的计算能力是什么呢？我们证明了具有一个隐藏层和ReLU激活的有限精度RNN和有限精度GRU在计算上与确定性有限自动机一样强大。在允许任意精度的情况下，我们证明了具有一个隐藏层和ReLU激活的RNN至少与下推自动机一样强大。如果我们也允许无限的精度，无限的边缘权重，和非线性输出激活函数，我们证明了GRU至少是计算功能强大的下推自动机。所有结果都是建设性的。
2019-06-19 cs.CL cs.LG
Sample Complexity Bounds for Recurrent Neural Networks with Application to Combinatorial Graph Problems
Carnegie Mellon University（卡内基梅隆大学）；ETH Zurich（苏黎世联邦理工学院）
学习预测实值组合图问题的解决方案，保证有效的近似。正如基于NP-硬边集团覆盖数所证明的那样，循环神经网络（RNN）特别适合于此任务，甚至可以超越最先进的算法。然而，用于估计实值RNN的理论框架仅知之甚少。作为我们的主要贡献，这是第一个为学习实值RNN的样本复杂度上界的工作。虽然这种推导已经提前前馈和卷积神经网络，我们的工作提出了第一次这样的尝试循环神经网络。给定一个具有$a$整流线性单元和长度为$b$的输入的单层RNN，我们证明了$\varepsilon$的人口预测误差可以在最多$\tilde{\mathcal{O}}(a^4b/\varepsilon^2)$样本的情况下实现。我们进一步推导出多层RNN的可比结果。因此，可以在$\tilde{\mathcal{O}}(n^6/\varepsilon^2)$中学习馈送有至多$n$顶点的图的大小自适应RNN，即，仅具有多项式数量的样本。对于组合图问题，这提供了一个理论基础，使RNN具有竞争力。
2019-11-19 cs.LG stat.ML
Depthwise Separable Convolutions Versus Recurrent Neural Networks for Monaural Singing Voice Separation
Tampere University（坦佩雷大学）；Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）
最近的音乐源分离方法几乎完全基于深度神经网络，主要采用递归神经网络（RNN）。尽管RNN在许多情况下优于其他类型的深度神经网络进行序列处理，但它们在训练和并行化方面存在特定的困难，特别是对于音乐源分离中遇到的通常较长的序列。在本文中，我们提出了一个用深度可分离（DWS）卷积替换RNN的用例，DWS卷积是典型卷积的一种轻量级和更快的变体。我们专注于歌声分离，采用RNN架构，我们用DWS卷积（DWS-CNN）代替RNN。我们进行了一项消融研究，并通过利用信号与伪影、信号与干扰和信号失真比的标准度量，研究了DWS-CNN的通道数量和层数对源分离性能的影响。我们的结果表明，通过用DWS-CNN代替RNN，分别获得了1.20，0.06，0.37 dB的改进，而仅使用RNN架构参数量的20.57%。
2020-07-06 cs.LG cs.SD eess.AS
Learning Compact Recurrent Neural Networks
Google（谷歌）
循环神经网络（RNN），包括长短期记忆（LSTM）RNN，已经在各种语音识别任务上产生了最先进的结果。然而，这些模型对于在具有存储器和延迟限制的移动设备上的部署来说通常太大。在这项工作中，我们研究了通过低秩因子分解和参数共享方案学习紧凑RNN和LSTM的机制。我们的目标是调查冗余的经常性架构，压缩可以承认，而不会损失性能。在底层使用结构化矩阵和在顶层使用共享低秩因子的混合策略被发现特别有效，在2,000小时的英语语音搜索任务中，将标准LSTM的参数减少了75%，WER增加了0.3%。
2016-04-09 cs.CL cs.LG cs.NE
A Gentle Tutorial of Recurrent Neural Network with Error Backpropagation
SUNY at Buffalo（纽约州立大学布法罗分校）
我们描述了递归神经网络（RNNs），它已经吸引了大量的关注顺序任务，如手写识别，语音识别和图像到文本。然而，与一般的前馈神经网络相比，RNN具有反馈回路，这使得理解反向传播步骤有点困难。因此，我们专注于基础知识，特别是误差反向传播来计算模型参数的梯度。此外，我们详细介绍了如何通过展开存储单元将误差反向传播算法应用于长短期记忆（LSTM）。
2018-01-14 cs.LG
Memory Capacity of Nonlinear Recurrent Networks: Is it Informative?
该研究针对现有记忆容量指标难以区分线性循环网络性能的问题，通过分析随机非线性循环网络的记忆容量特性，证实了当前线性与非线性场景下的记忆容量定义均无实际应用价值。
2025-09-02 cs.LG stat.ML
Improving Recurrent Neural Networks For Sequence Labelling
LaTTiCe (UMR 8094)（LaTTiCe实验室（UMR 8094））；CNRS（法国国家科学研究中心）；ENS Paris（巴黎高等师范学院）；Université Sorbonne Nouvelle - Paris 3（索邦新巴黎第三大学）；PSL Research University（PSL研究大学）；USPC (Université Sorbonne Paris Cité)（索邦巴黎西岱大学）
在本文中，我们研究了不同类型的循环神经网络（RNN）的序列标记任务。我们提出了两种新的RNN变体，整合了序列标记的改进，并将它们与更传统的Elman和Jordan RNN进行了比较。我们比较所有的模型，无论是传统的还是新的，在四个不同的任务序列标签：两个口语语言理解（ATIS和媒体）;和两个POS标记的法国树库（FTB）和宾夕法尼亚州树库（PTB）语料库。结果表明，我们的RNN新变体总是比其他变体更有效。
2016-06-08 cs.CL cs.LG cs.NE
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington（华盛顿大学）
循环神经网络（RNN）是处理连续数据的强大而有效的方法。然而，RNN通常被认为是“黑箱”模型，其内部结构和学习参数是不可解释的。在本文中，我们提出了一个可解释的RNN的顺序迭代软阈值算法（SISTA）的基础上解决顺序稀疏恢复问题，该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的，这导致了一种新的堆叠RNN架构。此外，SISTA-RNN的权重完全可以解释为原则性统计模型的参数，在这种情况下，包括稀疏化字典，迭代步长和正则化参数。此外，在特定的顺序压缩感知任务中，SISTA-RNN比传统的最先进的黑盒RNN（包括长短期记忆（LSTM）RNN）训练得更快，性能更好。
2016-11-22 cs.LG stat.ML
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University（杜克大学）
循环神经网络（RNN）在语言建模方面表现出了良好的性能。然而，使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化（用于大型训练集）不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗（也适用于大型训练集）的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法，在训练过程中添加梯度噪声（增强对模型参数空间的探索），并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明，所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
Log-Linear RNNs: Towards Recurrent Neural Networks with Flexible Prior Knowledge
Xerox Research Centre Europe（施乐欧洲研究中心）
我们引入了LL-RNN（对数线性RNN），这是循环神经网络的一种扩展，它用对数线性输出层取代了softmax输出层，其中softmax是一种特殊情况。这个概念简单的举措有两个主要优点。首先，它允许学习者通过允许它将单词（或更一般地，输出符号）建模为复杂的属性组合来对抗训练数据稀疏性，而不需要在训练数据中直接观察每个组合（如softmax所做的那样）。第二，它允许包含灵活的先验知识的形式的先验指定的模块化功能，其中的神经网络组件学习动态控制的对数线性分布的权重，利用这些功能。我们在法语的语言建模领域进行了实验，利用形态学先验知识，并显示出相对于基线RNN的困惑度的重要降低。我们提供了其他激励性的例证，最后认为，对数线性和神经网络组件的LL-RNN的互补优势：LL方面允许模型将丰富的先验知识，而NN方面，根据“表示学习“的范式，允许模型发现新的组合特征。
2016-12-16 cs.AI cs.CL cs.LG
Improved memory in recurrent neural networks with sequential non-normal dynamics
New York University（纽约大学）；Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
训练循环神经网络（RNN）是一个很难的问题，因为优化环境中存在退化，这个问题也被称为梯度消失/爆炸。由于没有设计新的RNN架构，以前处理这个问题的方法通常归结为在初始化或整个训练期间对递归动态进行正交化。这些方法背后的基本动机是正交变换是欧几里得空间的等距，因此它们保持（欧几里得）范数并有效地处理消失/爆炸梯度。然而，这忽略了非线性和噪声的重要影响。在存在非线性的情况下，正交变换不再保持范数，这表明替代变换可能更适合非线性网络。此外，在噪音的存在下，规范保存本身不再是理想的目标。一个更明智的目标是最大化传播信号的信噪比（SNR）。以前的工作表明，在线性情况下，最大化SNR的递归网络显示出强烈的非正态性，序列动态和正交网络是高度次优的。受这一发现的启发，我们在这里研究了非正常RNN的潜力，即具有非正常递归连接矩阵的RNN在顺序处理任务中的潜力。我们的实验结果表明，非正规RNN在各种基准测试中的表现优于正交RNN。我们还发现了在用正交递归连接矩阵初始化的训练RNN中增加非正态性和隐藏链式前馈基序的证据。
2020-02-10 cs.LG cs.NE stat.ML
