MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
Google（谷歌）
我们介绍了MinimalRNN，一种新的递归神经网络架构，其性能与结构简化的流行门控RNN相当。它在RNN中使用最少的更新，这不仅可以实现有效的学习和测试，更重要的是更好的可解释性和可训练性。我们证明，通过支持更严格的更新规则，MinimalRNN学习解开RNN状态。我们使用输入-输出雅可比矩阵进一步研究了不同RNN结构的学习动态，并表明MinimalRNN能够捕获比现有RNN架构更长的范围依赖关系。
2018-06-20 cs.LG stat.ML
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington（华盛顿大学）
循环神经网络（RNN）是处理连续数据的强大而有效的方法。然而，RNN通常被认为是“黑箱”模型，其内部结构和学习参数是不可解释的。在本文中，我们提出了一个可解释的RNN的顺序迭代软阈值算法（SISTA）的基础上解决顺序稀疏恢复问题，该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的，这导致了一种新的堆叠RNN架构。此外，SISTA-RNN的权重完全可以解释为原则性统计模型的参数，在这种情况下，包括稀疏化字典，迭代步长和正则化参数。此外，在特定的顺序压缩感知任务中，SISTA-RNN比传统的最先进的黑盒RNN（包括长短期记忆（LSTM）RNN）训练得更快，性能更好。
2016-11-22 cs.LG stat.ML
Rethinking Full Connectivity in Recurrent Neural Networks
NVIDIA（英伟达）
循环神经网络（RNN）在序列建模任务中无处不在。实际模型通常由数百或数千个完全连接的神经元组成。这给硬件带来了沉重的计算和存储负担，限制了实际低成本和低功耗设备的采用。与完全卷积模型相比，RNN的昂贵顺序操作严重阻碍了并行硬件的性能。本文挑战了RNN中完全连接的惯例。我们研究了结构稀疏的RNN，表明它们非常适合在并行硬件上加速，大大降低了经常性操作的成本，并且经常性权重也减少了几个数量级。对从语言建模和语音识别到视频动作识别等具有挑战性的任务进行的大量实验表明，与全连接网络相比，结构稀疏的RNN具有竞争力的性能。这允许使用大型稀疏RNN来执行广泛的现实任务，而这些任务以前在完全连接的网络中成本太高。
2019-05-29 cs.LG stat.ML
On the Practical Computational Power of Finite Precision RNNs for Language Recognition
Technion, Israel（以色列理工学院）；Bar-Ilan University, Israel（以色列巴伊兰大学）
虽然递归神经网络（RNN）以图灵完备而闻名，但这依赖于状态的无限精度和无限的计算时间。我们考虑具有有限精度的RNN的情况，其计算时间在输入长度上是线性的。在这些限制下，我们证明了不同的RNN变体具有不同的计算能力。特别是，我们证明了LSTM和具有ReLU激活的Elman-RNN严格强于具有挤压激活和GRU的RNN。这是因为LSTM和ReLU-RNN可以轻松实现计数行为。我们的经验表明，LSTM确实学会了有效地使用计数机制。
2018-05-13 cs.CL cs.LG stat.ML
Enhanced Recurrent Neural Tangent Kernels for Non-Time-Series Data
Rice University（莱斯大学）；Facebook AI Research（Facebook人工智能研究院）
在无限宽度范围内从深度神经网络（DNN）导出的内核不仅在一系列机器学习任务中提供了高性能，而且还为DNN训练动态和泛化提供了新的理论见解。在本文中，我们将与递归神经网络（RNN）相关的内核家族扩展到更复杂的架构，包括双向RNN和具有平均池的RNN。我们还开发了一个快速的GPU实现，以充分利用内核的实际潜力。虽然RNN通常只应用于时间序列数据，但我们证明了使用基于RNN的内核的分类器在来自UCI数据库的90个非时间序列数据集上的性能优于一系列基线方法。
2021-10-20 cs.LG stat.ML
Gated Feedback Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
在这项工作中，我们提出了一种新的递归神经网络（RNN）架构。所提出的RNN，门控反馈RNN（GF-RNN），扩展了现有的堆叠多个递归层的方法，允许和控制信号从上层递归层流向下层，每对层使用全局门控单元。基于先前的隐藏状态和当前输入，层之间交换的递归信号被自适应地选通。我们评估了所提出的GF-RNN与不同类型的递归单元，如tanh，长短期记忆和门控递归单元，在字符级语言建模和Python程序评估的任务。我们对不同RNN单元的经验评估表明，在这两项任务中，GF-RNN都优于构建深度堆叠RNN的传统方法。我们认为，之所以会出现这种改进，是因为GF-RNN可以通过学习门控这些交互，自适应地将不同的层分配给不同的时间尺度和层与层的交互（包括通常不存在于堆栈RNN中的自上而下的交互）。
2015-06-17 cs.LG cs.NE stat.ML
Data-driven prediction of a multi-scale Lorenz 96 chaotic system using deep learning methods: Reservoir computing, ANN, and RNN-LSTM
Rice University（莱斯大学）
在本文中，三个深度学习方法预测短期演化和再现多尺度时空Lorenz 96系统的长期统计的性能进行了检查。这些方法是：回声状态网络（一种储备池计算，RC-ESN）、深度前馈人工神经网络（ANN）和具有长短期记忆的递归神经网络（RNN-LSTM）。这个Lorenz 96系统有三层非线性相互作用变量，分别代表慢/大尺度（$X$）、中间（$Y$）和快/小尺度（$Z$）过程。对于培训或测试，只有$X$可用; $Y$和$Z$从未知晓或使用。我们表明，RC-ESN在短期预测方面大大优于ANN和RNN-LSTM，例如，精确地预测了数百个数值求解器的时间步长的混沌轨迹，相当于几个李雅普诺夫时间尺度。RNN-LSTM和ANN也表现出了一些预测技巧; RNN-LSTM优于ANN。此外，即使在失去轨迹之后，RC-ESN和RNN-LSTM预测的数据也具有与真实PDF密切匹配的概率密度函数（PDF），即使在尾部也是如此。然而，使用ANN预测的数据的PDF偏离真实的PDF。本文讨论了数据驱动和数据辅助的复杂非线性动力系统（如天气/气候）的替代建模的含义、注意事项和应用。
2019-12-06 cs.LG math.DS nlin.CD
Learning Compact Recurrent Neural Networks with Block-Term Tensor Decomposition
SMILE Lab, University of Electronic Science and Technology of China（电子科技大学SMILE实验室）；Dept. of Computer Science, Brown University（布朗大学计算机科学系）；School of Computing, University of Utah（犹他大学计算机学院）；Xjera Labs, Pte.Ltd（Xjera实验室私人有限公司）
循环神经网络（RNN）是一种强大的序列建模工具。然而，当处理高维输入时，由于大量的模型参数，RNN的训练变得计算昂贵。这阻碍了RNN解决许多重要的计算机视觉任务，例如视频中的动作识别和图像描述。为了克服这个问题，我们提出了一种紧凑灵活的结构，即块项张量分解，它大大减少了RNN的参数，提高了它们的训练效率。与其他低秩近似相比，例如张量训练RNN（TT-RNN），我们的方法，块项RNN（BT-RNN），不仅更简洁（当使用相同的秩时），而且能够以更少的参数获得对原始RNN的更好近似。在三个具有挑战性的任务，包括视频中的动作识别，图像描述和图像生成，BT-RNN在预测精度和收敛速度方面优于TT-RNN和标准RNN。具体来说，BT-LSTM使用的参数比标准LSTM少17，388倍，在UCF 11数据集上的动作识别任务中实现了超过15.6%的准确性提高。
2018-05-11 cs.LG stat.ML
Learning Long-Term Dependencies in Irregularly-Sampled Time Series
IST Austria（奥地利科学技术研究所）；TU Wien（维也纳工业大学）；MIT（麻省理工学院）
具有连续时间隐藏状态的递归神经网络（RNN）非常适合对不规则采样的时间序列进行建模。然而，当输入数据具有长期依赖性时，这些模型面临困难。我们证明，与标准RNN类似，这个问题的根本原因是训练过程中梯度的消失或爆炸。这种现象由隐藏状态的常微分方程（ODE）表示来表示，而不管ODE求解器的选择。我们通过设计一种基于长短期记忆（LSTM）的新算法来提供解决方案，该算法将其记忆与其时间连续状态分离。通过这种方式，我们在RNN中编码了一个连续时间动态流，允许它响应于在任意时滞到达的输入，同时确保通过内存路径的恒定错误传播。我们称这些RNN模型为ODE-LSTM。我们的实验表明，ODE-LSTM在具有长期依赖性的非均匀采样数据上优于基于RNN的高级同行。所有代码和数据都可以在https://github.com/mlech26l/ode-lstms上找到。
2020-12-04 cs.LG stat.ML
Advanced LSTM: A Study about Better Time Dependency Modeling in Emotion Recognition
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）有限公司）
长短期记忆（LSTM）是递归神经网络（RNN）中常用的基本递归单元。然而，传统的LSTM假设当前时间步的状态取决于前一个时间步。这个假设限制了时间依赖性建模能力。在这项研究中，我们提出了一种新的LSTM变体，高级LSTM（A-LSTM），用于更好的时间上下文建模。我们在加权池RNN中使用A-LSTM进行情感识别。A-LSTM相对于传统LSTM的性能提高了5.5%。基于A-LSTM的加权池化RNN也可以补充最先进的情感分类框架。这说明了A-LSTM的优势。
2017-10-27 cs.LG cs.SD eess.AS
Spectral Pruning for Recurrent Neural Networks
Hokkaido University（北海道大学）；AISIN SOFTWARE Co., Ltd.（爱信软件有限公司）；Advanced Institute for Materials Research, Tohoku University（东北大学材料前沿研究中心）；Nagoya University（名古屋大学）
本文针对RNN剪枝方法多为启发式的问题，提出受“spectral pruning”启发的剪枝算法，并给出压缩RNN的泛化误差界限，数值实验验证了其有效性。
2021-10-06 cs.LG stat.ML
Human Activity Recognition Using LSTM-RNN Deep Neural Network Architecture
University of Pretoria（比勒陀利亚大学）；Malmö University（马尔默大学）
使用原始传感器数据来建模和训练用于人类活动识别的网络可以用于许多不同的应用，从健身跟踪到安全监控应用。这些模型可以很容易地扩展到使用不同的数据源进行训练，以提高准确性或扩展不同预测类别的分类。本文讨论了WISDM提供的可用数据集和不同轴的每个类的独特功能。此外，设计了一个长短期记忆（LSTM）架构模型的人类活动识别的应用。在前500次训练中，准确率超过94%，损失小于30%。
2019-05-02 cs.LG eess.SP stat.ML
Stock Forecasting using M-Band Wavelet-Based SVR and RNN-LSTMs Models
Western Connecticut State University（西康涅狄格州立大学）
预测未来股票价值的任务一直是人们非常渴望的，尽管非常困难。这个困难来自股票的非平稳行为，没有任何明确的形式。因此，最好通过分析金融股票数据来进行预测。为了处理大数据集，目前的惯例涉及使用移动平均线。然而，利用小波变换代替移动平均去噪股票信号，金融数据可以平滑和更准确地分解。这种新转换，去噪和更稳定的股票数据可以通过非参数统计方法进行跟踪，例如支持向量回归（SVR）和基于循环神经网络（RNN）的长短期记忆（LSTM）网络来预测未来股票价格。通过这些方法的实施，人们得到了更准确的股票预测，进而增加了利润。
2019-04-17 cs.LG q-fin.CP stat.ML
Regularizing Recurrent Networks - On Injected Noise and Norm-based Methods
Technische Universität München（慕尼黑工业大学）
在过去的几十年里，并行处理的进步导致了多层感知器（MLP）应用和深度学习的激增。递归神经网络（RNN）通过提供一种处理序列数据的方法，为前馈MLP提供了额外的表示能力。然而，RNN很难使用传统的误差反向传播方法进行训练，因为很难将许多时间步长上的输入相关联。来自MLP领域的正则化方法，如dropout和噪声权重训练，在简单的RNN上没有得到充分的应用和测试。此外，已经提出了解决方案来改善RNN的收敛性，但不足以改善其长期依赖性记忆能力。在这项研究中，我们的目标是实证评估复调音乐数据集上RNN的记忆和泛化能力。这些模型使用注入噪声、随机丢弃、基于范数的正则化器进行训练，并与初始化良好的普通RNN和快速丢弃等高级正则化方法进行比较。我们得出结论，有证据表明，噪声训练并不能提高性能，这是我们之前在RNN优化方面的一些工作所证明的。
2014-10-21 cs.LG stat.ML
Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cambridge University（剑桥大学）
循环神经网络（RNN）在建模连续和时间序列数据方面是有用的。然而，当使用RNN为决策提供信息时，预测本身是不够的;我们还需要对预测不确定性进行估计。现有的RNN不确定性量化方法主要基于贝叶斯方法;这些方法在计算上是禁止的，并且需要对RNN架构和训练进行重大修改。利用经典的刀切响应的思想，我们开发了一种频率论的替代方案：（a）不干扰模型训练或损害其准确性，（b）适用于任何RNN架构，（c）提供对估计的不确定性区间的理论覆盖保证。我们的方法从RNN输出的（折刀）采样分布的可变性中获得预测不确定性，该可变性通过重复删除（时间相关的）训练数据块并收集在剩余数据上重新训练的RNN的预测来估计。为了避免穷举重新训练，我们利用影响函数来估计去除训练数据块对学习的RNN参数的影响。使用来自重症监护环境的数据，我们证明了不确定性量化在顺序决策中的实用性。
2020-06-27 cs.LG stat.ML
Complex Unitary Recurrent Neural Networks using Scaled Cayley Transform
University of Kentucky（肯塔基大学）
循环神经网络（RNN）已成功地用于广泛的序列数据问题。使用RNN的一个众所周知的困难是\textit{vanishing or exploding gradient}问题。最近，有几种不同的RNN架构试图通过维护正交或酉递归权重矩阵来缓解这个问题。一种这样的架构是缩放凯莱正交递归神经网络（scoRNN），其通过缩放凯莱变换来参数化正交递归权重矩阵。该参数化包含一个对角缩放矩阵，该矩阵由不能通过梯度下降优化的正或负1项组成。因此，缩放矩阵在训练之前是固定的，并且引入超参数来为每个特定任务调整矩阵。在本文中，我们开发了一种基于复尺度凯莱变换的酉RNN架构。与实正交情况不同，该变换使用由复数单位圆上的条目组成的对角缩放矩阵，该矩阵可以使用梯度下降进行优化，并且不再需要调整超参数。我们还分析了我们工作中使用的modReLU activity函数和其他几个酉RNN的潜在问题。在进行的实验中，缩放凯莱酉递归神经网络（scuRNN）实现了与scoRNN和其他酉RNN相当或更好的结果，而无需固定缩放矩阵。
2019-02-25 cs.LG stat.ML
R2N2: Residual Recurrent Neural Networks for Multivariate Time Series Forecasting
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；IBM Research, T. J. Watson Research Center（IBM研究院托马斯·J·沃森研究中心）
多变量时间序列建模与预测是一个具有广泛应用前景的重要问题。传统的方法，如VAR（向量自回归）模型和最近的方法，如RNN（循环神经网络）是建模时间序列数据不可或缺的工具。在许多多变量时间序列建模问题中，通常存在显著的线性依赖分量，VAR适用于该分量，以及非线性分量，RNN适用于该分量。仅使用VAR或仅使用RNN对此类时间序列进行建模可能会导致预测性能差或模型复杂，训练时间长。在这项工作中，我们提出了一种称为R2N2（残差RNN）的混合模型，它首先用简单的线性模型（如VAR）对时间序列进行建模，然后使用RNN对其残差进行建模。R2N2可以使用VAR和RNN的现有算法进行训练。通过对两个真实世界数据集（航空和气候领域）的广泛实证评估，我们表明R2N2具有竞争力，通常优于单独使用的VAR或RNN。我们还表明，与RNN相比，R2N2的训练速度更快，同时需要更少的隐藏单元。
2017-09-10 cs.LG stat.ML
Single stream parallelization of generalized LSTM-like RNNs on a GPU
Seoul National University（首尔国立大学）
递归神经网络（RNN）在处理序列数据方面表现出出色的性能。然而，他们遭受从长的训练时间，这需要并行实施的训练过程。RNN的训练算法的并行化是非常具有挑战性的，因为内部递归路径在两个不同的时间框架之间形成依赖关系。在本文中，我们首先提出了一种广义的基于图的RNN结构，它涵盖了最流行的长短期记忆（LSTM）网络。然后，我们提出了一种并行化方法，通过分析图结构自动探索任意RNN的并行性。实验结果表明，即使使用单个训练流，所提出的方法也表现出很大的速度提升，并且当与多个并行训练流结合时，进一步加速了训练。
2015-03-10 cs.LG cs.NE
A Fully Tensorized Recurrent Neural Network
Mila - McGill University（Mila - 麦吉尔大学）；Ubenwa Health；Google DeepMind（谷歌DeepMind）
递归神经网络（RNN）是序列建模的强大工具，但通常需要显著的过度参数化和正则化来实现最佳性能。这导致在资源有限的环境中部署大型RNN的困难，同时也在超参数选择和训练中引入了复杂性。为了解决这些问题，我们引入了一个“完全张量化”的RNN架构，该架构使用轻量级张量训练（TT）因子分解对每个递归单元内的单独权重矩阵进行联合编码。这种方法代表了一种新的权重共享形式，它将模型大小降低了几个数量级，同时与标准RNN相比仍然保持类似或更好的性能。在图像分类和说话人确认任务上的实验证明了减少推理时间和稳定模型训练和超参数选择的进一步好处。
2021-11-10 cs.LG stat.ML
Recurrent Neural Networks (RNNs): A gentle Introduction and Overview
Eberhard-Karls-University Tübingen（图宾根埃伯哈德·卡尔斯大学）
“语言建模和生成文本”、“语音识别“、“生成图像描述”或“视频标记”领域的最先进解决方案一直使用循环神经网络作为其方法的基础。因此，如果我们想跟上这些领域最近或即将出版的出版物，了解基本概念至关重要。在这项工作中，我们给出了一个简短的概述在循环神经网络领域的一些最重要的概念，使读者能够很容易地理解的基本面，如但不限于“通过时间的反向传播”或“长短期记忆单位”，以及一些最近的进展，如“注意力机制“或“指针网络”。我们还提供了必要时进一步阅读更复杂主题的建议。
2019-11-23 cs.LG stat.ML
Adversarial Dropout for Recurrent Neural Networks
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究中心）；KAIST（韩国科学技术院）；AI Center, SK Telecom（SK电讯AI中心）
成功的应用程序处理序列数据，如文本和语音，需要提高循环神经网络（RNN）的泛化性能。RNN的丢弃技术被引入以响应这些需求，但我们推测RNN的丢弃可以通过采用对抗概念来改进。本文研究了通过利用有意生成的丢弃掩码来改善RNN的丢弃的方法。具体来说，本研究中使用的引导性退出被称为对抗性退出，它会随着时间的推移对抗性地断开主要用于预测正确目标的神经元。我们的分析表明，我们的正则化器由原始和重新配置的RNN之间的间隙组成，是随机丢弃的训练和推理阶段之间间隙的上界。我们证明了最小化正则化器可以提高RNN在顺序MNIST任务，半监督文本分类任务和语言建模任务中的dropout的有效性。
2019-04-22 cs.LG stat.ML
Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Forecasting Network-wide Traffic State with Missing Values
University of Washington（华盛顿大学）
近年来，基于深度学习方法，特别是递归神经网络（RNN）的短期流量预测备受关注。然而，在时空数据的预测能力和处理丢失数据的能力方面，基于RNN的模型在交通预测中的潜力尚未得到充分利用。在本文中，我们专注于基于RNN的模型，并试图重新制定将RNN及其变体纳入流量预测模型的方法。提出了一种堆叠的双向和单向LSTM网络架构（SBU-LSTM），用于辅助交通状态预测的神经网络结构设计。作为该架构的关键组件，双向LSTM（BDLSM）被用来捕获时空数据中的前向和后向时间依赖性。为了处理时空数据中的缺失值，我们还提出了一种LSTM结构中的数据填补机制（LSTM-I），通过设计一个填补单元来推断缺失值并辅助流量预测。LSTM-I的双向版本被整合到SBU-LSTM架构中。两个真实世界的网络范围内的交通状态数据集被用来进行实验，并公布，以促进进一步的交通预测研究。评估了多种类型的多层LSTM或BDLSTM模型的预测性能。实验结果表明，所提出的SBU-LSTM架构，特别是两层BDLSTM网络，可以在准确性和鲁棒性方面实现网络范围流量预测的优异性能。此外，综合比较结果表明，所提出的数据填补机制在基于RNN的模型可以实现突出的预测性能时，模型的输入数据包含不同模式的缺失值。
2020-05-24 cs.LG eess.SP stat.ML
Regularizing RNNs by Stabilizing Activations
University of Montreal（蒙特利尔大学）
我们通过惩罚连续隐藏状态范数之间的平方距离来稳定递归神经网络（RNN）的激活。这个惩罚项是RNN（包括LSTM和IRNN）的有效正则化器，提高了字符级语言建模和音素识别的性能，并优于权重噪声和丢弃。我们实现了竞争力的性能（18.6\% PER）的TIMIT音素识别任务的RNN评估没有束搜索或RNN换能器。有了这个惩罚项，IRNN可以在语言建模上实现与LSTM相似的性能，尽管向LSTM添加惩罚项会带来更好的性能。我们的惩罚项还防止了IRNN的激活在其训练范围之外的指数增长，使它们能够推广到更长的序列。
2016-04-26 cs.CL cs.LG cs.NE
Optimizing and Contrasting Recurrent Neural Network Architectures
University of Edinburgh（爱丁堡大学）
递归神经网络（RNN）长期以来一直被认为具有建模复杂时间序列的潜力。然而，仍然需要确定什么样的优化技术和递归架构可以用来最好地实现这一潜力。提出的实验深入研究海森自由优化，一个强大的二阶优化方法，已显示出有前途的结果，但仍然没有得到广泛的使用。该算法被用于训练到许多RNN架构，包括标准RNN，长短期记忆，乘法RNN和堆叠RNN的字符预测任务。从这些实验中获得的见解导致创建了一种新的乘法LSTM混合架构，其性能优于LSTM和乘法RNN。当在更大规模上进行测试时，乘法LSTM使用非常不同的方法实现了与RNN最新技术水平竞争的字符级建模结果。
2015-10-16 cs.LG cs.NE stat.ML
Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network
Intel Labs（英特尔实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的工作表明，对递归神经网络（RNN）的拓扑增强可以提高其表达能力和代表能力。两种流行的增强是堆叠RNN，它增加了学习非线性函数的能力，以及双向处理，它利用序列中的因果信息。在这项工作中，我们探索了延迟RNN，这是一个单层RNN，在输入和输出之间有延迟。我们证明了延迟RNN的权重约束版本等价于堆叠RNN。我们还表明，延迟引起的部分因果关系，很像双向网络。合成实验证实，延迟RNN可以模拟双向网络，类似地解决一些因果任务，并在其他方面优于它们。此外，我们在现实世界的自然语言处理任务中表现出与双向网络相似的性能。这些结果表明，延迟RNN可以近似拓扑结构，包括堆叠RNN，双向RNN和堆叠双向RNN-但延迟RNN的运行时间相同或更快。
2020-06-18 cs.CL cs.LG cs.NE
Sample Complexity Bounds for Recurrent Neural Networks with Application to Combinatorial Graph Problems
Carnegie Mellon University（卡内基梅隆大学）；ETH Zurich（苏黎世联邦理工学院）
学习预测实值组合图问题的解决方案，保证有效的近似。正如基于NP-硬边集团覆盖数所证明的那样，循环神经网络（RNN）特别适合于此任务，甚至可以超越最先进的算法。然而，用于估计实值RNN的理论框架仅知之甚少。作为我们的主要贡献，这是第一个为学习实值RNN的样本复杂度上界的工作。虽然这种推导已经提前前馈和卷积神经网络，我们的工作提出了第一次这样的尝试循环神经网络。给定一个具有$a$整流线性单元和长度为$b$的输入的单层RNN，我们证明了$\varepsilon$的人口预测误差可以在最多$\tilde{\mathcal{O}}(a^4b/\varepsilon^2)$样本的情况下实现。我们进一步推导出多层RNN的可比结果。因此，可以在$\tilde{\mathcal{O}}(n^6/\varepsilon^2)$中学习馈送有至多$n$顶点的图的大小自适应RNN，即，仅具有多项式数量的样本。对于组合图问题，这提供了一个理论基础，使RNN具有竞争力。
2019-11-19 cs.LG stat.ML
Approximation Bounds for Recurrent Neural Networks with Application to Regression
Wuhan University（武汉大学）；University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）
该研究推导了深度ReLU循环神经网络对依赖过去的Hölder光滑函数的近似误差上界，将其应用于回归问题得到经验风险最小化器预测误差的非渐近上界，该界在两类数据假设下达极小极大最优速率，为RNN性能提供统计保证。
2025-10-05 cs.LG stat.ML
Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence
Department of Electrical and Electronic Engineering Imperial College London（帝国理工学院电子与电气工程系）；Imperial College London（帝国理工学院）
递归神经网络（RNN）是序列建模中最成功的机器学习模型之一，但在处理大型多维数据时，往往会遇到参数数量呈指数增长的问题。为此，我们开发了一个多线性图过滤器框架，用于近似RNN中隐藏状态的建模，该框架嵌入在张量网络架构中，以提高建模能力并降低参数复杂性，从而产生一种新的递归图张量网络（RGTN）。通过几个多路序列建模任务验证了所提出的框架，并以传统的RNN为基准。凭借图过滤器的域感知信息处理和张量网络的表达能力，我们表明，建议的RGTN不仅能够超越标准RNN，而且还减轻了与传统RNN相关的诅咒，在性能和复杂性方面表现出优越的性能。
2021-05-11 cs.LG stat.ML
Transfer Learning for Clinical Time Series Analysis using Recurrent Neural Networks
TCS Research（塔塔咨询服务研究院）
深度神经网络在诊断、死亡率预测、住院时间预测等各种临床预测任务中表现出了良好的效果。然而，训练深度网络（例如基于循环神经网络（RNN）的网络）需要大量标记数据、高计算资源和显著的超参数调整工作。在这项工作中，我们研究了当使用深度RNN对多变量临床时间序列进行建模时，迁移学习可以在多大程度上解决这些问题。我们考虑使用大型标记数据集同时传输在多个源任务上训练的RNN中捕获的知识，以构建具有有限标记数据的目标任务的模型。在几个任务上预先训练的RNN提供了通用特征，然后用于为新的目标任务构建更简单的线性模型，而无需训练特定于任务的RNN。为了进行评估，我们训练了一个深度RNN来识别MIMIC-III数据库中时间序列上的几种患者表型，然后使用RNN提取的特征来构建分类器，以识别以前看不见的表型，以及看似无关的住院死亡率任务。我们证明了：（i）使用预训练的RNN提取的特征训练的模型优于或在最坏的情况下，执行特定于任务的RNN;（ii）使用预训练模型的特征的模型比特定于任务的RNN对标记数据的大小更鲁棒;（iii）使用预训练的RNN提取的特征足够通用，并且比典型的统计手工特征表现得更好。
2018-07-04 cs.LG stat.ML
How to Construct Deep Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Aalto University School of Science（阿尔托大学理学院）
在本文中，我们探索了将递归神经网络（RNN）扩展为\textit{deep} RNN的不同方法。首先，我们认为RNN中的深度概念并不像前馈神经网络中那样清晰。然而，通过仔细分析和理解RNN的架构，我们发现RNN的三个点可以更深入：（1）输入到隐藏函数，（2）隐藏到隐藏转换和（3）隐藏到输出函数。基于这一观察，我们提出了两种新的深度RNN架构，它们与早期堆叠多个递归层以构建深度RNN的尝试正交（Schmidhuber，1992; El Hihi和Bengio，1996）。我们使用基于神经运算符的新框架对这些深度RNN进行了另一种解释。在复调音乐预测和语言建模的任务上，对所提出的深度RNN进行了经验评估。实验结果支持了我们的观点，即所提出的深度RNN受益于深度，并且优于传统的浅RNN。
2014-04-24 cs.LG cs.NE stat.ML
Echo: Compiler-based GPU Memory Footprint Reduction for LSTM RNN Training
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
长短期记忆递归神经网络（LSTM RNN）是一类用于分析序列数据的流行机器学习模型。然而，他们在现代GPU上的训练受到GPU内存容量的限制。我们对基于LSTM RNN的神经机器翻译（NMT）模型的分析结果表明，注意力和RNN层的特征图形成了内存瓶颈，并且在GPU上训练时，运行时间在不同层之间分布不均匀。基于这两个观察结果，我们建议重新计算特征图，而不是将它们持久地存储在GPU内存中。虽然之前已经考虑过特征图重新计算的想法，但现有的解决方案未能提供令人满意的占用空间减少，因为它们没有解决两个关键挑战。为了使每个特征图重新计算有效和高效，必须仔细估计其对（1）总内存占用和（2）总执行时间的影响。为此，我们提出了一种新的基于编译器的优化方案 *Echo*，它通过一种实用的机制来解决第一个挑战，该机制可以估计整个计算图上重新计算的内存收益，而第二个挑战则是通过利用层细节非保守地估计重新计算开销。*Echo* 自动透明地减少GPU内存占用，无需对训练源代码进行任何更改，并且对LSTM RNN之外的模型有效。我们在配备现代GPU的真实系统上对众多最先进的机器学习工作负载进行了 *Echo* 评估，并观察到占用空间减少率平均为1.89倍，最高为3.13倍。这种减少可以转换成具有更大批量大小的更快训练，GPU能耗的节省（例如，使用一个GPU的训练速度与使用四个GPU的训练速度一样快），和/或在相同…
2019-11-28 cs.AI cs.LG stat.ML
Diagonal RNNs in Symbolic Music Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）
在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。
2017-04-19 cs.LG cs.NE stat.ML
Predicting Li-ion Battery Cycle Life with LSTM RNN
University of California, Los Angeles（加州大学洛杉矶分校）
高效准确的剩余使用寿命预测是锂离子电池可靠安全使用的关键因素。这项工作训练一个长短期记忆递归神经网络模型，学习在不同的周期和电压下的放电容量的顺序数据，并作为一个循环寿命预测在不同的条件下循环的电池。使用前60 - 80个循环的实验数据，我们的模型在大约80个样本的测试集上实现了有希望的预测精度。
2022-07-08 cs.LG eess.SP
Gated Recurrent Neural Tensor Network
Universitas Indonesia（印度尼西亚大学）；Nara Institute of Science and Technology（奈良先端科学技术大学）
递归神经网络（RNN）是一种强大的时序数据建模方案，需要捕获数据集的长期依赖关系，并使用强大的模型将其表示在隐藏层中，以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模，门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层（即，张量积）帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中，我们提出了一种新的RNN架构，将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中，我们提出的模型通过使用门控单元建模来学习长期依赖关系，并使用三维数组（张量）权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆（LSTM）RNN和门控递归单元（GRU）RNN，并将它们与其公式中的张量积结合起来。我们提出的RNN，被称为长短期记忆递归神经张量网络（LSTMRNTN）和门控递归单位递归神经张量网络（GRURNTN），是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验，结果表明，与我们的基线模型相比，我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Compressing Recurrent Neural Network with Tensor Train
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
循环神经网络（Recurrent Neural Network，RNN）是一种流行的时序任务建模方法，在处理各种复杂问题时具有很高的性能。然而，大多数最先进的RNN都有数百万个参数，需要大量的计算资源来训练和预测新数据。本文提出了一种替代的RNN模型，通过基于张量训练（TT）格式表示权重参数来显着减少参数的数量。在本文中，我们实现了几种RNN架构的TT格式表示，如简单RNN和门控递归单元（GRU）。我们比较和评估我们提出的RNN模型与未压缩的RNN模型的序列分类和序列预测任务。我们提出的TT格式的RNN能够保持性能，同时将RNN参数的数量减少到原来的40倍。
2017-05-23 cs.LG
Recurrent Hierarchical Topic-Guided RNN for Language Generation
Xidian University（西安电子科技大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
为了从文本语料库中同时捕获语法和全局语义，提出了一种新的基于大上下文递归神经网络（RNN）的语言模型，通过动态深度主题模型提取递归层次语义结构，指导自然语言生成。超越了传统的基于RNN的语言模型，忽略了长期的单词依赖关系和句子顺序，所提出的模型不仅捕捉句子内的单词依赖关系，而且还捕捉句子之间的时间转换和句子间的主题依赖关系。对于推理，我们开发了一个混合的随机梯度马尔可夫链蒙特卡罗和经常性自编码变分贝叶斯。在多种真实文本语料库上的实验结果表明，该模型不仅优于基于大上下文RNN的语言模型，而且能够学习可解释的循环多层主题，生成句法正确、语义连贯的句子和段落。
2020-06-27 cs.CL cs.LG stat.ME
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Recurrent Neural Network from Adder's Perspective: Carry-lookahead RNN
Hangzhou Dianzi University（杭州电子科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
递归网络结构是序列建模中广泛使用的模型，但其串行依赖性阻碍了计算的并行化，使得运算效率低下。在数字电子学的早期阶段，串行加法器也遇到了同样的问题。在本文中，我们讨论了循环神经网络（RNN）和串行加法器之间的相似之处。受超前进位加法器的启发，我们将超前进位模块引入到RNN中，使RNN的并行运行成为可能。然后设计了RNN的并行计算方法，最后提出了Carry-lookahead RNN（CL-RNN）。CL-RNN具有并行性和灵活的感受野等优点。通过一组全面的测试，我们验证了CL-RNN在专门为RNN设计的序列建模任务中可以比现有的典型RNN表现得更好。
2021-08-24 cs.LG cs.NE
Augmenting Recurrent Neural Networks with High-Order User-Contextual Preference for Session-Based Recommendation
KAIST（韩国科学技术院）
与以前的方法相比，最近采用循环神经网络（RNN）进行会话建模已经产生了大量的性能提升。然而，在上下文感知会话建模方面，现有的基于RNN的模型受到限制，因为它们没有被设计为显式地对丰富的静态用户侧上下文（例如，年龄、性别、地点）。因此，在本文中，我们探索了RNN会话模型的显式用户端上下文建模的实用性。具体来说，我们提出了一个增强的RNN（ARNN）模型，提取高阶用户上下文偏好使用基于产品的神经网络（PNN），以增强任何现有的RNN会话模型。评估结果表明，当用户端上下文丰富时，我们提出的模型的性能大大优于基线RNN会话模型。
2018-05-08 cs.IR cs.LG stat.ML
Estimating Forces of Robotic Pouring Using a LSTM RNN
在机器学习中，机器人能够从输入数据序列中估计动态是非常重要的。这个问题可以用递归神经网络来解决。在本文中，我们将讨论数据集的10个状态的预处理，然后使用LSTM递归神经网络从其他9个输入状态中估计一个输出状态（动态）。我们将讨论递归神经网络的体系结构、数据汇集和预处理、损失函数、测试数据的结果，并讨论可以改进网络的更改。本文的结果将用于人工智能研究，并确定LSTM递归神经网络架构估计系统动态的能力。
2019-05-02 cs.LG cs.RO
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
Recurrent Neural Networks in the Eye of Differential Equations
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）；IBM Research（IBM研究院）
为了理解递归神经网络的训练稳定性、时间动态性和结构复杂性之间的基本权衡，我们使用常微分方程的数值方法直接分析了递归神经网络的结构。我们定义了一个一般的家庭的RNN-ODERNs-通过相关的RNN的组成规则，常微分方程的集成方法在离散的时间步长。我们证明了RNN的功能非线性度$n$和时间记忆范围$t$可以映射到相应的Runge-Kutta递归阶段和常微分方程的时间导数阶数。我们证明了流行的RNN架构，如LSTM和URNN，适合不同顺序的$n$ - $t$ -ODERNs。RNN和ODE之间的这种精确对应关系有助于我们建立RNN训练稳定性的充分条件，并有助于使用来自ODE数值积分的各种工具箱来更灵活地自上而下设计新的RNN架构。我们提供这样一个例子：量子通用计算神经网络（QUNN）将训练参数的个数从数据长度和时间记忆长度的多项式减少到时间记忆长度的线性。
2019-04-29 cs.LG quant-ph stat.ML
Phenotyping of Clinical Time Series with LSTM Recurrent Neural Networks
UC San Diego（加州大学圣地亚哥分校）；USC（南加州大学）；Children’s Hospital LA（洛杉矶儿童医院）
我们提出了一种新的应用LSTM循环神经网络的多标签分类的诊断给定的可变长度的时间序列的临床测量。我们的方法在各种指标上都优于强基线。
2017-03-21 cs.LG
Quantum RNNs and LSTMs Through Entangling and Disentangling Power of Unitary Transformations
本文提出利用幺正变换的纠缠与解纠缠能力构建量子递归神经网络及长短期记忆网络框架，将纠缠解释为信息保留机制，解纠缠解释为遗忘机制，从而提升优化过程的效率。
2025-12-06 cs.LG quant-ph
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Automatic Construction of a Recurrent Neural Network based Classifier for Vehicle Passage Detection
Skoltech（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）
递归神经网络（RNN）广泛用于时间序列建模和预测。提出了一种基于长短期记忆RNNs（LSTM-RNNs）的二元分类器的自动构造方法，用于检测通过检查站的车辆。作为分类器的输入，我们使用安装在检查点上的各种传感器的多维信号。获得的结果表明，以前的方法手工制作的分类器，由一组确定性的规则，可以成功地取代自动RNN训练适当标记的数据。
2016-09-26 cs.CV cs.LG stat.ML
Noisin: Unbiased Regularization for Recurrent Neural Networks
Columbia University（哥伦比亚大学）；New York University（纽约大学）；Princeton University（普林斯顿大学）
循环神经网络（RNN）是一种强大的序列数据模型。它们已成功地应用于文本和语音等领域。然而，RNN容易受到过拟合的影响;正则化很重要。在本文中，我们开发了Noisin，一种正则化RNN的新方法。Noisin将随机噪声注入RNN的隐藏状态，然后最大化数据的相应边际似然。我们展示了Noisin如何应用于任何RNN，并研究了许多不同类型的噪声。Noisin是无偏的-它平均保留了底层的RNN。我们描述了Noisin如何在理论和经验上规范其RNN。在语言建模基准测试中，Noisin在Penn Treebank上比dropout提高了12.2%，在Wikitext-2数据集上提高了9.4%。我们还比较了Yang et al. 2017的最先进的语言模型，包括有和没有Noisin。在Penn Treebank上，使用Noisin的方法更快地达到了最先进的性能。
2018-07-13 cs.LG stat.ME stat.ML
RNNbow: Visualizing Learning via Backpropagation Gradients in Recurrent Neural Networks
Tufts University（塔夫茨大学）；Microsoft Research（微软研究院）
我们提出了RNNbow，一个交互式工具，用于在循环神经网络的反向传播训练过程中可视化梯度流。RNNbow是一个Web应用程序，它显示来自序列元素邻域中的递归神经网络（RNN）单元的相对梯度贡献。我们描述了时间反向传播（BPTT）的计算，该计算跟踪逐项梯度，或从序列的一个元素到序列的先前元素的梯度贡献。通过可视化梯度，而不是激活，RNNbow提供了对网络如何学习的洞察。我们用它来探索RNN的学习，RNN被训练成用C程序设计语言生成代码。我们展示了它如何揭示对消失梯度的洞察以及RNN在语料库中工作时训练的演变。
2019-07-29 cs.LG cs.NE
Extensional Properties of Recurrent Neural Networks
Roosevelt University（罗斯福大学）
该研究提出循环神经网络（RNN）的外延性质概念，证明了RNN版本的Rice定理，指出RNN的任何非平凡外延性质均不可判定，回答了RNN外延性质检测的一般性问题。
2024-10-30 cs.LG cs.NE
UnICORNN: A recurrent model for learning very long time dependencies
ETH Zürich（苏黎世联邦理工学院）
由于梯度的爆炸和消失问题，设计递归神经网络（RNN）来精确处理具有长时间依赖性的序列输入是非常具有挑战性的。为了克服这一点，我们提出了一种新的RNN架构，该架构基于对振荡器网络建模的二阶常微分方程的哈密顿系统的结构保持离散化。由此产生的RNN是快速的，可逆的（在时间上），内存效率，我们推导出严格的边界上的隐藏状态梯度证明爆炸和消失的梯度问题的缓解。一组实验表明，所提出的RNN提供了最先进的性能在各种学习任务（非常）长时间的依赖关系。
2021-06-10 cs.LG math.DS stat.ML
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks
Michigan State University（密歇根州立大学）
LSTM或长短期记忆网络是一种特定类型的递归神经网络（RNN），在处理长序列数据和学习长期依赖关系方面非常有效。在这项工作中，我们执行情感分析的GOP辩论Twitter数据集。为了加快训练速度并降低计算成本和时间，提出了六种不同的参数缩减的LSTM模型（Slim LSTM）。我们在数据集上评估了其中两个模型。比较了这两个LSTM模型与标准LSTM模型的性能。还研究了双向LSTM层的效果。除了为不同的LSTM模型建立最佳的超参数集之外，这项工作还包括选择最佳架构的研究。
2020-05-08 cs.CL cs.LG stat.ML
RNNs of RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Google AI（谷歌人工智能）
循环神经网络（RNN）作为局部神经活动的模型在整个神经科学中被广泛使用。单个RNN的许多特性在理论上都得到了很好的表征，但是实验神经科学已经朝着研究多个相互作用领域的方向发展，RNN理论也需要同样的扩展。我们对这个问题采取了建设性的方法，利用非线性控制理论和机器学习的工具来表征稳定RNN的组合何时会稳定。重要的是，我们推导出允许交互RNN之间存在大量反馈连接的条件。我们使用基于梯度的技术参数化这些条件，以便于优化，并表明稳定性约束的“网络的网络”可以很好地执行具有挑战性的顺序处理基准任务。总而言之，我们的研究结果提供了一个原则性的方法来理解大脑中的分布式模块化功能。
2023-01-29 cs.LG math.DS q-bio.NC
Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions
Monash University（莫纳什大学）
循环神经网络（RNN）已经成为有竞争力的预测方法，最值得注意的是最近的M4竞赛的获胜方法。然而，ETS和ARIMA等已建立的统计模型不仅因其高准确性而受到欢迎，而且还因其强大，高效和自动化而适用于非专家用户。在这些领域，RNN还有很长的路要走。我们提出了一个广泛的实证研究和现有的RNN预测架构的开源软件框架，使我们能够制定指导方针和最佳实践。例如，我们得出结论，如果数据集中的序列具有均匀的季节模式，则RNN能够直接对季节性进行建模，否则我们建议进行去季节化步骤。与ETS和ARIMA的比较表明，实现的（半）自动RNN模型不是银弹，但在许多情况下它们是有竞争力的替代品。
2020-12-23 cs.LG cs.NE stat.ML
