Capacitance Resistance Model and Recurrent Neural Network for Well Connectivity Estimation : A Comparison Study
Texas A&M University（德州农工大学）
在这份报告中，两个常用的数据驱动模型预测油井产量注水设置：电容电阻模型（CRM）和递归神经网络（RNN）进行了比较。这两个模型都是完全数据驱动的，旨在从历史数据中了解注水过程中的储层动态。此报告作为CRM模型的Python实现的技术指南，可从相关的GitHub存储库中获得。
2021-09-17 cs.LG stat.AP
Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks
SINTEF Digital（辛特夫数字研究所）；University of Oslo（奥斯陆大学）；Brown University（布朗大学）
本文提出将神经算子与循环神经网络结合，以解决深度网络在动力系统长时间积分中的误差累积问题，并在Korteweg-de Vries方程上验证了该方法在插值和外推中的稳定性与精度提升。
2024-04-30 cs.LG
Hierarchical Multiscale Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
学习层次和时间表示一直是循环神经网络的长期挑战之一。多尺度循环神经网络被认为是解决这一问题的一种很有前途的方法，但一直缺乏经验证据表明，这种类型的模型可以通过发现序列的潜在层次结构来捕获时间依赖性。在本文中，我们提出了一种新型的多尺度方法，称为分层多尺度循环神经网络，它可以通过使用新型更新机制对不同时间尺度的时间依赖性进行编码来捕获序列中潜在的分层结构。我们展示了一些证据表明，我们提出的多尺度体系结构可以发现潜在的层次结构的序列，而不使用明确的边界信息。我们评估我们提出的模型字符级的语言建模和手写序列建模。
2017-03-09 cs.LG
Recurrent Estimation of Distributions
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种半参数形式的实值数据模型的回归估计分布（RED）。RED模型将递归神经网络（RNN）用于一般实值数据的密度估计的两种新用途。首先，RNN用于将输入协变量转换为潜在空间，以更好地捕获输入中的条件依赖性。之后，使用RNN计算潜在协变量的条件分布。由此产生的模型是有效的训练，计算和采样，同时产生规范化的pdf。RED的有效性通过几个真实世界的数据实验。我们的研究结果表明，RED模型在多个数据集大小和维度上实现了比其他神经网络方法更低的保持负对数似然。通过考虑异常检测任务，我们还观察到比替代模型更好的性能，提供了RED功效的进一步背景。
2017-05-30 cs.LG stat.ML
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Real-Time EMG Signal Classification via Recurrent Neural Networks
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
肌电信号的实时分类是控制假手最具挑战性的部分。在较短的延迟时间内实现肌电信号的高分类精度仍然具有挑战性。递归神经网络（RNN）是一种适用于连续数据（如EMG）的人工神经网络架构。在本文中，从一个混合的时间-频率域（离散小波变换）提取特征后，我们利用一组基于递归神经网络的架构，以提高分类精度，减少预测延迟时间。这些架构的性能进行了比较，并在一般优于其他国家的最先进的方法，实现96%的分类精度在600毫秒。
2021-09-13 cs.CV cs.LG cs.RO
Explicit construction of recurrent neural networks effectively approximating discrete dynamical systems
Graduate School of Economics, Hitotsubashi University（一桥大学大学院经济学研究科）
本文针对具有递归性的动力系统产生的有界离散时间序列，提出循环神经网络的显式构造方法，证明其能有效逼近对应的离散动力系统。
2024-09-28 cs.LG math.DS
A Gentle Tutorial of Recurrent Neural Network with Error Backpropagation
SUNY at Buffalo（纽约州立大学布法罗分校）
我们描述了递归神经网络（RNNs），它已经吸引了大量的关注顺序任务，如手写识别，语音识别和图像到文本。然而，与一般的前馈神经网络相比，RNN具有反馈回路，这使得理解反向传播步骤有点困难。因此，我们专注于基础知识，特别是误差反向传播来计算模型参数的梯度。此外，我们详细介绍了如何通过展开存储单元将误差反向传播算法应用于长短期记忆（LSTM）。
2018-01-14 cs.LG
Convex Programming for Estimation in Nonlinear Recurrent Models
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个非线性递归模型，其中包括简单的参数模型的递归神经网络作为一个特殊的情况。所提出的配方导致一个自然的估计形式的凸规划。我们提供了一个样本的复杂性，这个估计的情况下，稳定的动态，其中的非线性递归具有一定的收缩属性，并在一定的正则条件下的输入分布。我们通过模拟合成数据的估计性能进行评估。这些数值实验也表明了在何种程度上可以放宽强加的理论假设。
2019-08-26 cs.LG math.OC stat.ML
Note on Equivalence Between Recurrent Neural Network Time Series Models and Variational Bayesian Models
我们观察到，标准的对数似然训练目标的循环神经网络（RNN）模型的时间序列数据是等价的变分贝叶斯训练目标，给出了适当的选择生成和推理模型。这种观点可能会激发对RNN和变分贝叶斯模型的扩展。我们提出了一个这样的扩展，其中多个粒子用于RNN的隐藏状态，允许不确定性或多模态的自然表示。
2016-06-18 cs.LG
A3GC-IP: Attention-Oriented Adjacency Adaptive Recurrent Graph Convolutions for Human Pose Estimation from Sparse Inertial Measurements
Ulm University（乌尔姆大学）；Linköping University（林雪平大学）
用于人体姿态估计的常规方法或者通过依赖于许多惯性测量单元（IMU）而需要高度的仪器，或者通过依赖于外部相机而约束记录空间。这些缺陷是通过从稀疏IMU数据中估计人体姿态的方法来解决的。我们定义了面向注意力的邻接自适应图卷积长短期记忆网络（A3 GC-LSTM），通过将人体图结构直接纳入网络，解决了基于六个IMU的人体姿态估计问题。A3 GC-LSTM在单个网络操作中结合了空间和时间依赖性，比以前的方法更高效。通过为图卷积配备邻接自适应性，可以实现任意长序列上的递归图学习，这消除了深度或递归图网络中的信息丢失问题，同时还允许学习人体关节之间的未知依赖关系。为了进一步提高准确性，将空间注意力形式主义纳入递归LSTM单元。通过我们提出的方法，我们能够利用人体固有的图形性质，从而可以超越现有技术的状态，从稀疏IMU数据的人体姿态估计。
2022-12-22 cs.CV cs.LG
RecNets: Channel-wise Recurrent Convolutional Neural Networks
School of ECE, NTUA（希腊国家技术大学电气与计算机工程学院）
在本文中，我们介绍了逐层递归卷积神经网络（RecNets），这是一系列新颖的，紧凑的神经网络架构，用于受递归神经网络（RNN）启发的计算机视觉任务。RecNets建立在逐行递归卷积（CRC）层之上，这是一种新型的卷积层，它将输入通道分成不相交的段，并以递归的方式处理它们。通过这种方式，我们模拟了广泛而紧凑的模型，因为通过RNN公式的参数共享，参数的数量大大减少了。CIFAR-10和CIFAR-100图像分类任务的实验结果表明，与其他紧凑的最先进的架构相比，RecNets具有更好的尺寸精度权衡。
2020-03-19 cs.LG stat.ML
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
大脑皮层在大脑中处理视觉、听觉和感觉数据，已知在其层内以及从高层到低层具有许多循环连接。但是，在使用神经网络的机器学习的情况下，通常假设严格的前馈架构适用于静态输入数据，例如图像，而递归网络主要用于处理顺序输入，例如语言。然而，不清楚静态输入数据的处理是否也受益于经常性连接。在这项工作中，我们引入并测试了一种新的循环神经网络的实现，该网络具有横向和反馈连接到深度学习中。这种对严格前馈结构的偏离阻止了使用标准误差反向传播算法来训练网络。因此，我们提供了一种算法，该算法在递归网络的隐式实现上实现反向传播算法，这与循环神经网络的最新实现不同。与当前的循环神经网络相比，我们的方法消除了由于许多迭代更新步骤而使用的长衍生物链，这使得学习的计算成本更低。事实证明，在单层隐式递归网络中存在递归层内连接可以大大提高神经网络的性能：单层隐式递归网络能够解决XOR问题，而具有单调递增激活函数的前馈网络则无法完成此任务。最后，我们证明了一个两层的隐式经常性架构导致更好的性能在回归任务的物理参数从阻尼摆的测量轨迹。
2020-10-20 cs.LG cs.NE
An Empirical Evaluation of Rule Extraction from Recurrent Neural Networks
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
从黑盒模型中提取规则对于需要在实现之前进行模型验证的领域至关重要，例如信用评分和医疗诊断。虽然在一般的统计学习中已经是一个具有挑战性的问题，但当高度非线性的递归模型（如循环神经网络（RNN））适合数据时，难度甚至更大。在这里，我们研究的规则提取二阶循环神经网络训练识别富田文法。我们表明，产生式规则可以稳定地从训练的RNN中提取，并且在某些情况下，规则优于训练的RNN。
2018-11-14 cs.LG
Recurrent Neural Networks for Forecasting Time Series with Multiple Seasonality: A Comparative Study
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文比较了具有不同类型门控单元的循环神经网络（RNN）对具有多个季节性的时间序列的预测。我们比较的细胞包括经典的长短期记忆（LSTM），门控递归单元（GRU），具有膨胀的修改的LSTM，以及我们最近提出的两个新细胞，它们配备了膨胀和注意力机制。为了对不同尺度的时间依赖性进行建模，我们的RNN架构具有多个膨胀的递归层，这些层堆叠有分层膨胀。建议的RNN产生点预测和预测区间（PI）。一项关于35个欧洲国家短期电力负荷预测的实证研究证实，具有扩张和注意力的新门控细胞表现最好。
2022-03-17 cs.LG
Rethinking the Relationship between Recurrent and Non-Recurrent Neural Networks: A Study in Sparsity
Worcester Polytechnic Institute（伍斯特理工学院）；Colorado State University（科罗拉多州立大学）
本文提出循环与非循环神经网络并非截然不同的算法家族，通过将RNN、MLP和深度Transformer统一表示为迭代映射，揭示它们在连续谱上的深层联系，从而为神经网络的理论与训练实践提供新见解。
2024-04-01 cs.LG
Reliable and Fast Recurrent Neural Network Architecture Optimization
German Aerospace Center (DLR)（德国航空航天中心）；Universidad de Málaga（马拉加大学）
本文介绍了基于随机误差采样的神经进化（RESN），一种新的自动优化循环神经网络结构的方法。RESN结合了进化算法和无训练评估方法。结果表明，RESN实现了最先进的错误性能，同时减少了一半的计算时间。
2021-06-29 cs.LG cs.NE
Sequence Modeling using Gated Recurrent Neural Networks
Universite de Montreal（蒙特利尔大学）
在本文中，我们已经使用循环神经网络捕捉和建模人体运动数据，并产生运动预测的下一个即时的数据点在每个时间步。我们的RNN配备了最近提出的门控递归单元，在一些序列建模问题，如机器翻译和语音合成中显示出有前途的结果。我们证明了该模型能够捕获数据中的长期依赖关系并生成逼真的运动。
2015-01-01 cs.LG cs.NE
Recurrent Attentive Neural Process for Sequential Data
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
神经过程（NPs）学习随机过程，并根据观察到的输入输出对的上下文集自适应地预测目标输出的分布。注意神经过程（AttentiveNeuralProcess，ANP）通过在上下文和目标之间引入注意力机制，提高了NP的预测精度。在机器人、金融、语音和生物学等许多实际应用中，从序列数据中学习时序和递归结构至关重要。然而，由于其排列不变性的本能，NP捕捉这些属性的能力是有限的。在本文中，我们提出了递归注意神经过程（RANP），或者，注意神经过程-递归神经网络（ANP-RNN），其中ANP被纳入到一个递归神经网络。该模型既包含了递归神经网络的归纳偏差，也包含了NP建模不确定性的强度。我们证明了RANP可以有效地建模序列数据，并在1D回归玩具示例以及快速驱动应用程序中显着优于NP和LSTM。
2019-10-17 cs.LG stat.ML
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy
Sun Yat-sen University（中山大学）；Guangdong University of Technology（广东工业大学）
越来越多的经验和理论证据表明，在合适的训练设置下，加深神经网络可以有效地提高其性能。然而，加深神经网络的主干将不可避免地显著增加计算和参数大小。为了缓解这些问题，我们提出了一个简单而有效的递归注意力策略（RAS），它隐式地增加了神经网络的深度与轻量级注意力模块的局部参数共享。在三个广泛使用的基准数据集上的大量实验表明，RAS可以提高神经网络的性能，在轻微增加的参数大小和计算，表现优于其他现有的知名的注意力模块。
2022-10-27 cs.LG
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍，它表明，在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
Stochastic Recurrent Neural Network for Multistep Time Series Forecasting
University College London（伦敦大学学院）
基于深度架构的时间序列预测近年来越来越受欢迎，因为它们能够对复杂的非线性时间动态进行建模。循环神经网络就是这样一种能够处理可变长度输入和输出的模型。在本文中，我们利用深度生成模型的最新进展和状态空间模型的概念，提出了一种用于多步时间序列预测的循环神经网络的随机自适应，该网络采用随机梯度变分贝叶斯进行训练。在我们的模型设计中，循环神经网络的过渡函数，它决定了隐藏状态的演变，是随机的，而不是确定性的，因为在一个定期的循环神经网络;这是通过将一个潜在的随机变量到过渡过程中，捕捉随机性的时间动态。我们的模型保留了循环神经网络的架构工作，所有相关信息都封装在其隐藏状态中，这种灵活性使我们的模型可以轻松集成到任何深层架构中进行顺序建模。我们在从金融到医疗保健的广泛数据集上测试了我们的模型;结果表明，随机循环神经网络始终优于其确定性对应网络。
2021-06-25 cs.AI cs.LG
Orthogonal Recurrent Neural Networks with Scaled Cayley Transform
University of Kentucky（肯塔基大学）
循环神经网络（RNN）被设计用于处理连续数据，但会受到梯度消失或爆炸的影响。最近关于酉循环神经网络（uRNN）的工作已经被用来解决这个问题，在某些情况下，超过了长短期记忆网络（LSTM）的能力。我们提出了一个更简单和新颖的更新计划，以保持正交递归权重矩阵，而不使用复值矩阵。这是通过使用Cayley变换用反对称矩阵进行参数化来完成的。这样的参数化不能表示具有负一特征值的矩阵，但是通过由一和负一组成的对角矩阵缩放递归权重矩阵来克服这种限制。所提出的训练方案涉及直接的梯度计算和更新步骤。在几个实验中，所提出的缩放凯莱正交递归神经网络（scoRNN）比其他酉RNN具有更少的可训练参数，取得了更好的结果。
2018-06-19 cs.LG stat.ML
Learning Quantum Processes with Memory -- Quantum Recurrent Neural Networks
University of British Columbia（不列颠哥伦比亚大学）；Stewart Blusson Quantum Matter Institute（斯图尔特·布鲁森量子物质研究所）；University of Cambridge（剑桥大学）
循环神经网络在研究和工业中都起着重要的作用。随着量子机器学习的出现，循环神经网络的量化最近变得相关。我们提出了完全量子循环神经网络，耗散量子神经网络的基础上，能够学习一般的因果量子自动机。提出了一种量子训练算法，并对以保真度为代价函数的产品输出情况进行了经典仿真。因此，我们证明了这些算法的潜力，学习复杂的量子过程与内存的示例性延迟通道，时间演化的量子态受时间依赖的哈密顿量，和高，低频率的噪声缓解。数值模拟表明，我们的量子循环神经网络表现出惊人的能力，从小训练集进行概括。
2023-01-19 cs.LG quant-ph
NFT Appraisal Prediction: Utilizing Search Trends, Public Market Data, Linear Regression and Recurrent Neural Networks
University of Toronto（多伦多大学）
在本文中，我们研究了NFT估值与三个主要类别的各种特征之间的相关性：公开市场数据，NFT元数据和社会趋势数据。
2022-04-18 cs.LG q-fin.ST
Fixed-Point Performance Analysis of Recurrent Neural Networks
Seoul National University（首尔国立大学）
循环神经网络在许多应用中已经显示出优异的性能，然而它们在基于硬件或软件的实现中需要增加的复杂性。通过最小化权值和信号的字长，可以大大降低硬件复杂度。本文分析了使用基于再训练的量化方法的循环神经网络的定点性能。研究了RNN各层的量化敏感性，给出了在不牺牲性能的前提下，最小化权容量的整体定点优化结果。使用了一个语言模型和一个音素识别实例。
2016-09-27 cs.LG cs.NE
Coordinate descent on the orthogonal group for recurrent neural network training
National Physical Laboratory（国家物理实验室）；Mathematical Institute（数学研究所）；University of Oxford（牛津大学）；IIIT Delhi（德里印度理工学院）
我们建议使用正交群上的随机黎曼坐标下降来训练循环神经网络。该算法连续旋转递归矩阵的两列，这种操作可以有效地实现为与Givens矩阵相乘。在每次迭代中随机均匀选择坐标的情况下，我们证明了该算法在标准假设下对损失函数、步长和小批量噪声的收敛性。此外，我们数值证明了循环神经网络训练中的黎曼梯度具有近似稀疏的结构。利用这一观察结果，我们提出了一个更快的变种，所提出的算法依赖于高斯-索斯韦尔规则。在一个标准的循环神经网络训练问题上的实验证明了该算法的有效性。
2021-07-30 cs.LG math.OC
Eigenvalue Normalized Recurrent Neural Networks for Short Term Memory
University of Kentucky（肯塔基大学）
最近开发了具有正交或酉递归矩阵的循环神经网络（RNN）的几种变体，以减轻消失/爆炸梯度问题并对序列的长期依赖性进行建模。然而，由于递归矩阵的特征值在单位圆上，递归状态保留了所有的输入信息，这可能不必要地消耗模型容量。在本文中，我们通过提出一种架构来解决这个问题，该架构扩展了正交/酉RNN，其状态由具有单位圆盘中特征值的递归矩阵生成。任何输入都会随着时间的推移而消散，并被新的输入所取代，模拟短期记忆。一个梯度下降算法推导出学习这样的递归矩阵。由此产生的方法，称为特征值归一化RNN（ENRNN），在几个实验中显示出高度的竞争力。
2019-11-18 cs.LG stat.ML
Learning Hierarchical Information Flow with Recurrent Neural Modules
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
我们提出了ThalNet，这是一个受丘脑新皮层通信启发的深度学习模型。我们的模型由循环神经模块组成，这些模块通过路由中心发送特征，赋予模块在多个时间步上共享特征的灵活性。我们表明，我们的模型学习分层路由信息，处理输入数据的模块链。我们观察常见的架构，如前馈神经网络和跳过连接，新兴的特殊情况下，我们的架构，而新的连接模式学习的text8压缩任务。我们的模型在几个连续的基准测试中优于标准的递归神经网络。
2017-11-04 cs.AI cs.LG
Quaternion-Valued Recurrent Projection Neural Networks on Unit Quaternions
University of Campinas（坎皮纳斯大学）
超复值神经网络，包括四元数值神经网络，可以将多维数据视为单个实体。本文提出了四元数递归投影神经网络（QRPNNs）。简而言之，QRPNN是通过将非局部投影学习与四元数值递归相关神经网络（QRCNN）相结合来获得的。我们表明，QRPNN克服了QRCNN的串扰问题。因此，它们适合于实现联想记忆。此外，计算实验表明，QRPNN表现出更大的存储容量和噪声容忍度比相应的QRCNN。
2020-01-30 cs.LG cs.NE stat.ML
End-to-End Radio Traffic Sequence Recognition with Deep Recurrent Neural Networks
Virginia Tech（弗吉尼亚理工大学）；Corgan Labs（科尔根实验室）
我们调查序列机器学习技术的原始无线电信号的时间序列数据。通过应用深度循环神经网络，我们学会了在不使用专家解调算法的情况下，在恒定包络调制的基础上区分几种应用层流量类型。我们表明，复杂的协议序列可以学习和使用这种方法的分类和生成任务。
2016-10-03 cs.LG cs.NI
Tensorial Recurrent Neural Networks for Longitudinal Data Analysis
The University of Sydney（悉尼大学）
传统的循环神经网络假设向量化数据作为输入。然而，现代科学技术中的许多数据都是以特定的结构出现的，例如张量时间序列数据。为了将循环神经网络应用于这种类型的数据，矢量化过程是必要的，而这种矢量化导致空间或纵向维度的精确信息的丢失。此外，这样的矢量化数据不是用于学习纵向数据的表示的最佳解决方案。在本文中，我们提出了一种新的变形张量神经网络，直接采取张量时间序列数据作为输入。我们称这种新的变体为张量递归神经网络（TRNN）。所提出的TRNN是基于张量Tucker分解。
2017-08-01 cs.CV cs.LG stat.ML
Dynamic Cell Structure via Recursive-Recurrent Neural Networks
Weinberg College of Arts and Sciences, Northwestern University（西北大学温伯格文理学院）；Northwestern University（西北大学）
在循环设置中，神经架构搜索的传统方法为所有数据样本和时间步长找到并固定通用模型。我们提出了一种新的算法，可以动态搜索的递归神经网络模型中的细胞的结构。基于递归和递归神经网络的组合，我们的算法能够为每个数据样本和时间步长构建定制的细胞结构，允许比现有模型更有效的架构搜索。在三个常见数据集上的实验表明，该算法发现了高性能的细胞结构，并在语言建模和情感分析方面取得了比GRU结构更好的预测精度。
2019-05-25 cs.LG cs.NE stat.ML
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University（康奈尔大学）
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言，并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性，并表明它们是乘法递归网络的特殊情况。我们的实验表明，这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外，它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果，而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Effective and Efficient Computation with Multiple-timescale Spiking Recurrent Neural Networks
CWI（荷兰国家数学与计算机科学研究所）；IMEC（比利时微电子研究中心）
受大脑启发的类脑计算作为边缘AI的范例的出现，正在激励人们寻找在这种硬件上运行的高性能和高效的脉冲神经网络。然而，与深度学习中的经典神经网络相比，当前的脉冲神经网络在引人注目的领域缺乏竞争力。在这里，对于顺序和流式任务，我们演示了一种新型的自适应尖峰递归神经网络（SRNN）与其他脉冲神经网络相比，如何能够实现最先进的性能，并且几乎达到或超过经典循环神经网络（RNN）的性能，同时表现出稀疏的活动。由此，我们计算出SRNN在更困难的任务上比经典RNN的能量提高了$>$ 100倍。为了实现这一目标，我们将标准和自适应多时间尺度尖峰神经元建模为自循环神经单元，并利用PyTorch深度学习框架中的代理梯度和自动微分来有效地实现时间反向传播，包括学习重要的尖峰神经元参数，以使我们的尖峰神经元适应任务。
2020-06-16 cs.LG cs.NE
Learning Longer Memory in Recurrent Neural Networks
Facebook Artificial Intelligence Research（脸书人工智能研究院）
递归神经网络是一个强大的模型，学习时序数据中的时序模式。长期以来，人们认为，由于所谓的梯度消失问题，递归网络难以使用简单的优化器（例如随机梯度下降）进行训练。在本文中，我们表明，学习长期的模式，在真实的数据，如在自然语言，是完全可能使用梯度下降。这是通过对简单的递归神经网络架构进行轻微的结构修改来实现的。我们鼓励一些隐藏的单位，以改变他们的状态慢慢地通过使部分的经常性的权重矩阵接近单位，从而形成一种长期的记忆。我们在语言建模实验中评估了我们的模型，在那里我们获得了与更复杂的长短期记忆（LSTM）网络相似的性能（Hochreiter & Schmidhuber，1997）。
2015-04-16 cs.LG cs.NE
Architectural Complexity Measures of Recurrent Neural Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；University of Toronto（多伦多大学）；Institut des Hautes Études Scientifiques, France（法国高等科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文系统地分析了循环神经网络（RNN）的连接结构。我们的主要贡献是两方面的：首先，我们提出了一个严格的图论框架，描述了一般RNN的连接架构。其次，我们提出了RNN的三种架构复杂度度量：（a）递归深度，它捕获RNN随时间的非线性复杂度，（b）前馈深度，它捕获局部输入输出非线性（类似于前馈神经网络（FNN）中的“深度”），以及（c）递归跳跃系数，它捕获信息随时间传播的速度。我们严格证明了每一个措施的存在性和可计算性。我们的实验结果表明，RNN可能受益于更大的递归深度和前馈深度。我们进一步证明，增加经常性跳跃系数提供了长期依赖问题的性能提升。
2016-11-12 cs.LG cs.NE
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics（国立研究大学高等经济学院）；Kaspersky Lab（卡巴斯基实验室）；Lomonosov Moscow State University（莫斯科国立大学）；Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果，但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重，而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节，我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度，而没有质量下降，在语言建模任务上报告了高达87%的稀疏度，精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
Collaborative Filtering with Recurrent Neural Networks
IRIDIA（IRIDIA实验室）；Université Libre de Bruxelles（布鲁塞尔自由大学）
我们表明，协同过滤可以被看作是一个序列预测问题，并给予这种解释，循环神经网络提供了非常有竞争力的方法。特别是，我们研究了如何将长短期记忆（LSTM）应用于协同过滤，以及如何将其与电影推荐的标准最近邻和矩阵分解方法进行比较。我们证明了LSTM在各个方面都具有竞争力，并且在项目覆盖率和短期预测方面大大优于其他方法。
2017-01-03 cs.IR cs.LG
Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law（中国政法大学）；Institute of High Performance Computing（高性能计算研究所）
深度学习方法已广泛应用于序列建模问题。在自动语音识别（ASR）方面，通过增加大规模语音语料库和更深层次的神经网络，其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题，本文提出了一种新的深度递归卷积网络用于声学建模，并将深度残差学习应用于其中，实验结果表明，与传统的深度递归卷积网络相比，它不仅具有更快的收敛速度，而且具有更高的识别精度。在实验中，我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度，我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明，应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后，我们用我们提出的双向统计n-gram语言模型通过音素出错率（PER）来评估我们所有的实验网络。我们的评估结果表明，我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER，并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明，它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
Quasi-Recurrent Neural Networks
Salesforce Research（Salesforce研究院）
循环神经网络是一个强大的工具，用于建模序列数据，但每个时间步的计算依赖于前一个时间步的输出限制了并行性，使RNN笨拙的非常长的序列。我们介绍了准递归神经网络（QRNNs），这是一种交替卷积层的神经序列建模方法，它在时间步上并行应用，以及一种在通道上并行应用的最小递归池化函数。尽管缺乏可训练的递归层，但堆叠的QRNN比具有相同隐藏大小的堆叠LSTM具有更好的预测准确性。由于它们的并行性增加，它们在训练和测试时的速度提高了16倍。语言建模，情感分类和字符级神经机器翻译的实验证明了这些优势，并强调了QRNN作为各种序列任务的基本构建块的可行性。
2016-11-21 cs.AI cs.CL cs.LG
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.（谷歌公司）
我们研究压缩循环神经网络（RNN）的问题。特别是，我们专注于RNN声学模型的压缩，这是出于建立紧凑和准确的语音识别系统，可以有效地运行在移动设备上的目标。在这项工作中，我们提出了一种技术，一般经常性的模型压缩，共同压缩经常性和非经常性层间权重矩阵。我们发现，所提出的技术允许我们将长短期记忆（LSTM）声学模型的大小减少到其原始大小的三分之一，而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University（德克萨斯A&M大学）
我们提出了一个独立的系统，用于构建自然语言模型，用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络，从而改进了以前基于神经网络的模型。RNN在建模序列数据（如文本）方面表现出色，因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了循环神经网络（RNN）的参数空间几何结构，并开发了一种适应这种几何结构的路径SGD优化方法，该方法可以学习具有ReLU激活的普通RNN。在几个需要捕获长期依赖结构的数据集上，我们表明，与使用SGD训练的RNN相比，即使使用各种最近建议的初始化方案，path-SGD也可以显着提高ReLU RNN的可训练性。
2016-05-23 cs.LG cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用，以从新闻文章的文本中生成标题。我们发现，该模型是相当有效的，在简明的释义新闻文章。此外，我们还研究了神经网络如何决定要注意哪些输入单词，特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是，我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE
Understanding Feature Selection and Feature Memorization in Recurrent Neural Networks
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）
在本文中，我们提出了一个测试，称为标记1位（F1B）测试，研究循环神经网络在序列学习的内在能力。四个不同的经常性网络模型进行了研究，分析和实验使用此测试。我们的研究结果表明，在序列学习中，一般存在特征选择和特征记忆之间的冲突。这种冲突可以使用LSTM中的门控机制来解决，或者通过增加Vanilla RNN中的状态维度来解决。门控模型通过自适应地调整其状态更新方程来解决这种冲突，而Vanilla RNN通过分配不同的维度不同的任务来解决这种冲突。深入了解特征选择和记忆递归网络。
2019-03-03 cs.LG stat.ML
Romanian Diacritics Restoration Using Recurrent Neural Networks
University Politechnica of Bucharest（布加勒斯特理工大学）；Academy of Romanian Scientists（罗马尼亚科学院）
变音符号恢复是充分处理罗马尼亚语文本的必要步骤，而不是一个微不足道的步骤，因为您通常需要上下文才能正确恢复字符。大多数以前的方法，实验罗马尼亚恢复变音符号不使用神经网络。在这些解决方案中，没有专门针对这种特定语言优化的解决方案（即，它们通常被设计为在许多不同的语言上工作）。因此，我们提出了一种新的神经架构的基础上，可以参加信息在不同层次的抽象，以恢复变音符号的递归神经网络。
2020-09-06 cs.CL cs.LG
A comprehensive study of batch construction strategies for recurrent neural networks in MXNet
AppTek（AppTek 公司）
在这项工作中，我们比较了不同的小批量训练的循环神经网络批量建设方法。虽然像TensorFlow和MXNet这样的流行实现建议采用分桶方法来提高循环训练过程的并行化能力，但我们提出了一种简单的排序策略，以随机交替排序的方式排列训练序列。我们比较我们的方法序列桶以及其他各种批量建设策略的CHiME-4嘈杂的语音识别语料库。实验表明，我们的交替排序方法能够在训练时间和识别性能方面进行竞争，同时在概念上更容易实现。
2017-05-05 cs.LG stat.ML
The Recurrent Neural Tangent Kernel
Rice University（莱斯大学）
通过所谓的神经切线核（NTK）方法，对无限宽度限制下的深度神经网络（DNN）进行了研究，为学习、泛化和初始化的影响提供了新的见解。一个关键的DNN架构仍有待内核化，即循环神经网络（RNN）。在本文中，我们介绍和研究递归神经切线核（RNTK），它提供了新的见解过参数化RNN的行为。RNTK的一个关键特性应该使从业者受益匪浅，那就是它能够比较不同长度的输入。为此，我们描述了RNTK如何在不同的初始化参数和非线性选择下对不同的时间步长进行加权以形成其输出。一个合成的和56个真实世界的数据实验表明，RNTK提供了显着的性能增益超过其他内核，包括标准的NTK，在广泛的数据集。
2021-06-15 cs.LG stat.ML
Classification of postoperative surgical site infections from blood measurements with missing data using recurrent neural networks
UiT The Arctic University of Norway（挪威北极大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
可以表示为时间序列的临床测量构成电子健康记录的重要部分，并且通常是不确定和不完整的。循环神经网络是一类特殊的神经网络，特别适合于处理时间序列数据，但在其原始公式中，不能显式处理缺失数据。在本文中，我们探讨了基于递归神经网络（RNN）的分类器中处理缺失值的插补策略，并应用了最近提出的递归架构，即具有衰减的门控递归单元（Gated Recurrent Unit with Decay），专门用于处理缺失数据。我们专注于通过分析患者血液样本测量的时间序列来检测患者手术部位感染的问题，并比较了使用不同的基于RNN的分类器获得的结果。
2017-11-17 cs.CY cs.LG cs.NE
Gated Graph Convolutional Recurrent Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）
图过程模拟了许多重要的问题，如识别地震震中或预测天气。在本文中，我们提出了一个图卷积递归神经网络（GCRNN）架构专门针对这些问题。GCRNN使用卷积滤波器组来保持可训练参数的数量与图的大小和所考虑的时间序列无关。我们还提出了Gated GCRNN，GCRNN的时间门控变体，类似于LSTM。在使用合成和真实数据的实验中，与GNN和另一种图递归架构相比，GCRNN在使用相当少的参数的同时显着提高了性能。
2019-06-27 cs.LG stat.ML
Low-Cost Recurrent Neural Network Expected Performance Evaluation
Universidad de Málaga（马拉加大学）；Massachusetts Institute of Technology（麻省理工学院）
递归神经网络是一种强大的工具，但它们对超参数配置非常敏感。此外，正确训练循环神经网络是一项艰巨的任务，因此选择适当的配置至关重要。为解决这一问题提出了各种战略。然而，由于所需的时间/资源，其中大多数仍然不切实际。在这项研究中，我们提出了一个低计算成本的模型来评估一个给定的架构的预期性能的基础上分布的随机样本的权重的错误。我们使用三个用例来实证验证我们的建议。结果表明，这是一个有前途的替代方案，以减少超参数优化的探索成本。
2019-03-11 cs.LG stat.ML
