On the Practical Computational Power of Finite Precision RNNs for Language Recognition
Technion, Israel（以色列理工学院）；Bar-Ilan University, Israel（以色列巴伊兰大学）
虽然递归神经网络（RNN）以图灵完备而闻名，但这依赖于状态的无限精度和无限的计算时间。我们考虑具有有限精度的RNN的情况，其计算时间在输入长度上是线性的。在这些限制下，我们证明了不同的RNN变体具有不同的计算能力。特别是，我们证明了LSTM和具有ReLU激活的Elman-RNN严格强于具有挤压激活和GRU的RNN。这是因为LSTM和ReLU-RNN可以轻松实现计数行为。我们的经验表明，LSTM确实学会了有效地使用计数机制。
2018-05-13 cs.CL cs.LG stat.ML
Single stream parallelization of generalized LSTM-like RNNs on a GPU
Seoul National University（首尔国立大学）
递归神经网络（RNN）在处理序列数据方面表现出出色的性能。然而，他们遭受从长的训练时间，这需要并行实施的训练过程。RNN的训练算法的并行化是非常具有挑战性的，因为内部递归路径在两个不同的时间框架之间形成依赖关系。在本文中，我们首先提出了一种广义的基于图的RNN结构，它涵盖了最流行的长短期记忆（LSTM）网络。然后，我们提出了一种并行化方法，通过分析图结构自动探索任意RNN的并行性。实验结果表明，即使使用单个训练流，所提出的方法也表现出很大的速度提升，并且当与多个并行训练流结合时，进一步加速了训练。
2015-03-10 cs.LG cs.NE
Regularizing RNNs by Stabilizing Activations
University of Montreal（蒙特利尔大学）
我们通过惩罚连续隐藏状态范数之间的平方距离来稳定递归神经网络（RNN）的激活。这个惩罚项是RNN（包括LSTM和IRNN）的有效正则化器，提高了字符级语言建模和音素识别的性能，并优于权重噪声和丢弃。我们实现了竞争力的性能（18.6\% PER）的TIMIT音素识别任务的RNN评估没有束搜索或RNN换能器。有了这个惩罚项，IRNN可以在语言建模上实现与LSTM相似的性能，尽管向LSTM添加惩罚项会带来更好的性能。我们的惩罚项还防止了IRNN的激活在其训练范围之外的指数增长，使它们能够推广到更长的序列。
2016-04-26 cs.CL cs.LG cs.NE
Optimizing and Contrasting Recurrent Neural Network Architectures
University of Edinburgh（爱丁堡大学）
递归神经网络（RNN）长期以来一直被认为具有建模复杂时间序列的潜力。然而，仍然需要确定什么样的优化技术和递归架构可以用来最好地实现这一潜力。提出的实验深入研究海森自由优化，一个强大的二阶优化方法，已显示出有前途的结果，但仍然没有得到广泛的使用。该算法被用于训练到许多RNN架构，包括标准RNN，长短期记忆，乘法RNN和堆叠RNN的字符预测任务。从这些实验中获得的见解导致创建了一种新的乘法LSTM混合架构，其性能优于LSTM和乘法RNN。当在更大规模上进行测试时，乘法LSTM使用非常不同的方法实现了与RNN最新技术水平竞争的字符级建模结果。
2015-10-16 cs.LG cs.NE stat.ML
Counting in Language with RNNs
在本文中，我们研究了LSTM在语言建模方面优于GRU的可能原因，更具体地说，是机器翻译。我们假设这与计数有关。这是RNN的长期依赖、计数和语言建模文献中一致的主题。使用简化形式的语言--上下文无关和上下文敏感语言--我们展示了LSTM在推理过程中如何根据它们的细胞状态精确地执行计数，以及为什么GRU不能执行。
2018-10-31 cs.LG cs.NE stat.ML
Quantum RNNs and LSTMs Through Entangling and Disentangling Power of Unitary Transformations
本文提出利用幺正变换的纠缠与解纠缠能力构建量子递归神经网络及长短期记忆网络框架，将纠缠解释为信息保留机制，解纠缠解释为遗忘机制，从而提升优化过程的效率。
2025-12-06 cs.LG quant-ph
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Exploring the Long-Term Generalization of Counting Behavior in RNNs
City, University of London（伦敦大学城市学院）
在这项研究中，我们研究了LSTM，ReLU和GRU模型在长序列计数任务上的推广。先前的理论工作已经确定，具有ReLU激活和LSTM的RNN具有使用适当配置进行计数的能力，而GRU具有阻止对较长序列进行正确计数的限制。尽管LSTM在Dyck-1语言上有一些积极的经验结果，但我们的实验结果表明，LSTM无法学习比训练数据长得多的序列的正确计数行为。ReLU在行为上表现出更大的方差，并且在大多数情况下泛化能力更差。长序列泛化经验上与验证损失相关，但可靠的长序列泛化似乎无法通过当前技术的反向传播实现。我们展示了LSTM、GRU和ReLU的不同失效模式。特别地，我们观察到LSTM中激活函数的饱和和ReLU的正确权重设置以概括计数行为在标准训练方案中没有实现。总之，学习可推广的计数行为仍然是一个开放的问题，我们讨论了进一步研究的潜在方法。
2022-11-29 cs.FL cs.LG cs.NE
Relaxed Parameter Sharing: Effectively Modeling Time-Varying Relationships in Clinical Time-Series
University of Michigan（密歇根大学）；Institute for Healthcare Policy & Innovation（医疗政策与创新研究所）
递归神经网络（RNN）通常应用于临床时间序列数据，目的是学习患者风险分层模型。它们的有效性部分地归因于它们随时间使用参数共享（即，细胞是重复的，因此命名为复发性）。然而，我们假设，这种特征也有助于增加这些模型随着时间的推移而变化的学习关系的难度。条件移位，即，当与感兴趣的事件相关联的风险因素在患者入院的过程中改变时，出现输入X和输出y之间的关系的改变。虽然在理论上，RNN和门控RNN（例如，LSTM）尤其应当能够学习时变关系，但是当训练数据有限时，这样的模型常常不能准确地捕捉这些动态。我们通过比较具有共享参数的LSTM与具有时变参数的序列架构，说明了完全参数共享（RNN）的优点和缺点，预测任务涉及三个临床相关结果：急性呼吸衰竭（ARF），休克和住院死亡率。在使用合成数据的实验中，我们演示了LSTM中的参数共享如何在存在条件移位的情况下导致更差的性能。为了改进完全参数共享和无参数共享之间的二分法，我们提出了一种新的基于混合模型的RNN公式，其中我们随着时间的推移放松参数共享。所提出的方法在所有任务中都优于标准LSTM和其他最先进的基线。在数据有限的情况下，放宽参数共享可以改善患者风险分层性能。
2020-01-02 cs.LG stat.ML
Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
循环神经网络（Recurrent Neural Network，RNN）在序列分析和建模中得到了广泛的应用。然而，在处理高维数据时，RNN通常需要非常大的模型大小，从而带来一系列部署挑战。虽然现有的张量分解方法可以提供良好的模型压缩性能，但这些方法仍然存在一些固有的局限性，如有限的表示能力和模型复杂度降低不足。为了克服这些限制，在本文中，我们提出使用分层塔克（HT）分解来开发紧凑的RNN模型。HT分解使分解后的RNN模型具有较强的层次结构，这对于提高RNN模型的表示能力是非常有用和重要的。同时，HT分解提供了更高的存储和计算成本降低比现有的张量分解方法的RNN压缩。我们的实验结果表明，与最先进的压缩RNN模型（如TT-LSTM，TR-LSTM和BT-LSTM）相比，我们提出的基于HT的LSTM（HT-LSTM）在不同数据集上实现了压缩比和测试精度的同时和显着提高。
2020-05-09 cs.LG stat.ML
Leveraging RNNs and LSTMs for Synchronization Analysis in the Indian Stock Market: A Threshold-Based Classification Approach
Shiv Nadar Institution of Eminence（希夫·纳达尔卓越机构）
本研究提出结合非线性时间序列分析与RNN、LSTM的股价同步性预测方法，在印度20只高市值股票21年数据集上实现0.98准确率与0.83的F1值，为交易策略和风险管理提供支撑。
2024-08-27 cs.LG q-fin.ST
A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
RWTH Aachen University（亚琛工业大学）
我们对基于深度双向长短期记忆（LSTM）递归神经网络（RNN）的自动语音识别（ASR）声学模型进行了全面研究。我们研究的效果的大小和深度和训练模型多达8层。我们研究了训练方面，并研究了优化方法的不同变体，如dropout，截断反向传播，不同的正则化技术，如dropout和$L_2$正则化，以及不同的梯度裁剪变体。实验分析的主要部分是在Quaero语料库上进行的。还在Switchboard语料库上进行了额外的实验。与Quaero任务上的最佳前馈神经网络（FFNN）基线相比，我们最好的LSTM模型在单词出错率方面有超过14%的相对改善。在这项任务中，我们使用8层双向LSTM获得了最佳结果，并且我们证明了具有逐层构造的预训练方案有助于深度LSTM。最后，我们比较了许多实验的训练计算时间与识别性能的关系。所有实验都是使用RETURNN（RWTH通用递归神经网络的可扩展训练框架）和RASR（RWTH ASR工具包）完成的。
2017-03-29 cs.CL cs.LG cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Approximation Bounds for Recurrent Neural Networks with Application to Regression
Wuhan University（武汉大学）；University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）
该研究推导了深度ReLU循环神经网络对依赖过去的Hölder光滑函数的近似误差上界，将其应用于回归问题得到经验风险最小化器预测误差的非渐近上界，该界在两类数据假设下达极小极大最优速率，为RNN性能提供统计保证。
2025-10-05 cs.LG stat.ML
Diagonal RNNs in Symbolic Music Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）
在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。
2017-04-19 cs.LG cs.NE stat.ML
Learning Long-Term Dependencies in Irregularly-Sampled Time Series
IST Austria（奥地利科学技术研究所）；TU Wien（维也纳工业大学）；MIT（麻省理工学院）
具有连续时间隐藏状态的递归神经网络（RNN）非常适合对不规则采样的时间序列进行建模。然而，当输入数据具有长期依赖性时，这些模型面临困难。我们证明，与标准RNN类似，这个问题的根本原因是训练过程中梯度的消失或爆炸。这种现象由隐藏状态的常微分方程（ODE）表示来表示，而不管ODE求解器的选择。我们通过设计一种基于长短期记忆（LSTM）的新算法来提供解决方案，该算法将其记忆与其时间连续状态分离。通过这种方式，我们在RNN中编码了一个连续时间动态流，允许它响应于在任意时滞到达的输入，同时确保通过内存路径的恒定错误传播。我们称这些RNN模型为ODE-LSTM。我们的实验表明，ODE-LSTM在具有长期依赖性的非均匀采样数据上优于基于RNN的高级同行。所有代码和数据都可以在https://github.com/mlech26l/ode-lstms上找到。
2020-12-04 cs.LG stat.ML
Tunable Efficient Unitary Neural Networks (EUNN) and their application to RNNs
Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
在人工神经网络（ANN）中使用酉（而不是一般）矩阵是解决梯度爆炸/消失问题的一种有前途的方法，也使ANN能够学习数据中的长期相关性。这种方法对于递归神经网络（RNN）来说特别有前途。在这项工作中，我们提出了一个新的架构，实现一个有效的酉神经网络（EUNNs），其主要优点可以概括如下。首先，EUNN中酉空间的表示容量是完全可调的，范围从SU（N）的子空间到整个酉空间。其次，训练EUNN的计算复杂性仅为每个参数的$\mathcal{O}(1)$。最后，我们测试了EUNN的性能上的标准复制任务，像素排列的MNIST数字识别基准以及语音预测测试（TIMIT）。我们发现，就最终性能和/或挂钟训练速度而言，我们的架构显着优于其他最先进的单位RNN和LSTM架构。因此，EUNN是RNN和LSTM的有前途的替代品，适用于各种应用。
2017-04-03 cs.LG cs.NE stat.ML
Long Short-Term Memory as a Dynamically Computed Element-wise Weighted Sum
University of Washington（华盛顿大学）
LSTM被引入来对抗简单RNN中的消失梯度，通过用门控加法递归连接来增强它们。我们提出了另一种观点来解释LSTM的成功：门本身是多功能的经常性模型，提供更多的代表性的权力比以前认识到的。我们通过将LSTM的门从嵌入式简单RNN中解耦来实现这一点，从而产生一类新的RNN，其中递归计算输入的上下文无关函数的元素加权和。对一系列问题的消融表明，在大多数情况下，门控机制本身的表现与LSTM一样好，这强烈表明门在实践中做的不仅仅是缓解消失的梯度。
2018-05-09 cs.AI cs.CL cs.LG
Training LSTM Networks with Resistive Cross-Point Devices
IBM Research AI（IBM研究院人工智能）
在我们之前的工作中，我们已经证明了电阻交叉点器件，即所谓的电阻处理单元（RPU）器件，在训练深度全连接网络以及卷积神经网络时可以提供显著的功率和速度优势。在这项工作中，我们进一步扩展了RPU的概念，用于训练递归神经网络（RNN），即LSTM。我们证明了递归层的映射与全连接层的映射非常相似，因此RPU概念也可能为RNN提供大的加速因子。此外，我们研究了各种设备缺陷和系统参数对训练性能的影响。更新的对称性对于RNN来说变得更加重要;与用浮点数训练的理想情况相比，百分之几的不对称性已经导致测试误差的增加。此外，设备阵列的输入信号分辨率需要为至少7位以用于成功训练。然而，我们表明，随机舍入方案可以降低输入信号的分辨率回到5位。此外，我们发现RPU设备的变化和硬件噪声足以减轻过拟合，因此不太需要使用dropout。我们注意到，这里训练的模型大约是在MNIST数据集上训练的全连接网络的1500倍，这是每个时期执行的乘法和求和运算的总数。因此，在这里，我们试图研究的有效性RPU方法的大规模网络。
2018-06-01 cs.ET cs.LG stat.ML
Low-Complexity LSTM Training and Inference with FloatSD8 Weight Representation
National Taiwan University（台湾大学）
FloatSD技术已被证明在低复杂度卷积神经网络（CNN）训练和推理方面具有出色的性能。在本文中，我们将FloatSD应用于递归神经网络（RNN），特别是长短期记忆（LSTM）。除了FloatSD权重表示之外，我们还将模型训练中的梯度和激活量化为8位。此外，累加的算术精度和权重的主副本从32位降低到16位。我们证明了所提出的训练方案可以从头开始成功训练多个LSTM模型，同时完全保持模型的准确性。最后，为了验证所提出的方法在实现上的优势，我们设计了一个LSTM神经元电路，并表明它实现了显着减少的芯片面积和功耗。
2020-01-23 cs.LG stat.ML
Highway Long Short-Term Memory RNNs for Distant Speech Recognition
University of Washington（华盛顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）；Microsoft Research（微软研究院）；Amazon（亚马逊）；Mitsubishi Electric（三菱电机）；MERL（三菱电机研究实验室）
在本文中，我们扩展了深长短期记忆（DLSTM）循环神经网络之间的门控直接连接相邻层的存储单元。这些直接链接，称为高速公路连接，使不同层之间的信息流畅通无阻，从而缓解了构建更深LSTM时的梯度消失问题。我们进一步介绍了延迟控制的双向LSTM（BLSTM），它可以利用整个历史，同时保持控制下的延迟。提出了有效的算法来训练这些新的网络使用帧和序列判别准则。AMI远程语音识别（DSR）任务的实验表明，我们可以训练更深的LSTM，并取得更好的改善从序列训练与公路LSTM（HLSTM）。我们的新模型在AMI（SDM）开发和评估集上获得了$43.9/47.7\%$ WER，性能优于所有以前的工作。它分别以$15.7\%$和$5.3\%$的相对改进击败了强大的DNN和DLSTM基线。
2016-01-11 cs.AI cs.CL cs.LG
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Dynamical Isometry and a Mean Field Theory of RNNs: Gating Enables Signal Propagation in Recurrent Neural Networks
Google（谷歌）；Google Brain（谷歌大脑）
循环神经网络在跨各个领域的序列数据建模中得到了广泛的应用。虽然许多成功的递归架构都采用了门控的概念，但实现这种卓越性能的确切机制还没有得到很好的理解。我们开发了一个理论，在经常性网络随机初始化后，使用平均场理论和随机矩阵理论相结合的信号传播。为了简化我们的讨论，我们引入了一个新的RNN单元，它具有一个简单的门控机制，我们称之为minimalRNN，并将其与vanilla RNN进行比较。我们的理论允许我们定义RNN可以记住输入的最大时间尺度。我们表明，这一理论预测可训练的经常性架构。我们发现，门控递归网络比普通RNN具有更广泛，更强大，更可训练的区域，这证实了最近的实验结果。最后，我们开发了一个封闭形式的临界初始化方案，在vanilla RNN和minimalRNN中实现动态等距。我们表明，这导致训练动态的显着改善。最后，我们证明了minimalRNN在语言建模任务中的性能与其更复杂的同行（如LSTM或GRU）相当。
2018-08-15 cs.LG stat.ML
Hybridization of Persistent Homology with Neural Networks for Time-Series Prediction: A Case Study in Wave Height
本研究提出一种基于计算拓扑的特征工程方法，通过提取数据的拓扑特征并结合 FNNs、RNNs、LSTM 和 GRU 等神经网络模型，有效提升了波高时间序列预测的准确率并显著降低了误差。
2024-12-19 cs.LG stat.ML
SLIM LSTMs
Department of Electrical and Computer Engineering Michigan State University（密歇根州立大学电气与计算机工程系）；Circuits, Systems, and Neural Networks (CSANN) Lab（电路、系统与神经网络（CSANN）实验室）
长短期记忆（LSTM）递归神经网络（RNN）依赖于选通信号，每个选通信号由至少3个分量的加权和的函数驱动：（i）自适应权重矩阵乘以传入的外部输入向量序列中的一个，（ii）一个自适应权重矩阵乘以先前的记忆/状态向量，以及（iii）一个自适应偏置向量。实际上，它们通过添加“存储单元“和最多3个门控信号来增强简单的递归神经网络（sRNN）结构。标准的LSTM结构和组件包含冗余和过度增加的参数化。在本文中，我们系统地介绍了LSTM RNN的变体，称为SLIM LSTM。这些变体表达了积极减少的参数化，以实现计算节省和/或（训练）性能加速-同时必须保留（验证准确性）与标准LSTM RNN相当的性能。
2018-12-29 cs.AI cs.LG cs.NE
Gating Revisited: Deep Multi-layer RNNs That Can Be Trained
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们为递归神经网络（RNN）提出了一种新的STackable Recurrent cell（STAR），它比广泛使用的LSTM和GRU具有更少的参数，同时对消失或爆炸梯度更具鲁棒性。将递归单元堆叠到深度架构中受到两个主要限制：（i）许多递归单元（例如，LSTM）在参数和计算资源方面是昂贵的;（ii）深度RNN在训练过程中容易消失或爆炸梯度。我们研究了多层RNN的训练，并检查了梯度在“垂直”方向上通过网络传播时的大小。我们表明，根据基本的经常性单位的结构，梯度系统衰减或放大。基于我们的分析，我们设计了一种新型的门控单元，更好地保持梯度幅度。我们验证了我们的设计大量的序列建模任务，并表明，拟议的STAR细胞允许建立和训练更深的经常性架构，最终导致性能提高，同时计算更高效。
2021-03-06 cs.CV cs.LG
Gating creates slow modes and controls phase-space complexity in GRUs and LSTMs
CUNY Graduate Center（纽约市立大学研究生中心）；Princeton University（普林斯顿大学）
递归神经网络（RNN）是处理具有复杂时间结构数据的强大动力学模型。然而，由于梯度的爆炸或消失，训练RNN传统上被证明具有挑战性。RNN模型，如LSTM和GRU（及其变体），通过在架构中引入各种类型的门控单元，显著缓解了这些与训练相关的问题。虽然这些门经验性地提高了性能，但门的添加如何影响GRU和LSTM的动态和可训练性还没有得到很好的理解。在这里，我们把随机初始化的LSTM和GRU作为动力系统来研究，并询问门如何塑造显着的动力学特性。我们利用随机矩阵理论和平均场理论的工具来研究GRU和LSTM的状态到状态雅可比矩阵。我们证明了GRU中的更新门和LSTM中的遗忘门可以导致动态中慢模式的积累。此外，GRU更新门可以将系统平衡在边缘稳定点。GRU中的复位门和LSTM中的输出和输入门控制雅可比矩阵的谱半径，GRU复位门还调节固定点景观的复杂性。此外，对于GRU，我们得到一个相图描述的统计特性的不动点。我们还提供了一个初步的训练性能比较不同的超参数实现的各种动力学制度。展望未来，我们已经引入了一套强大的技术，可以适应广泛的RNN类别，研究各种架构选择对动态的影响，并可能激发新架构的原则性发现。
2020-06-15 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Learning Compact Recurrent Neural Networks
Google（谷歌）
循环神经网络（RNN），包括长短期记忆（LSTM）RNN，已经在各种语音识别任务上产生了最先进的结果。然而，这些模型对于在具有存储器和延迟限制的移动设备上的部署来说通常太大。在这项工作中，我们研究了通过低秩因子分解和参数共享方案学习紧凑RNN和LSTM的机制。我们的目标是调查冗余的经常性架构，压缩可以承认，而不会损失性能。在底层使用结构化矩阵和在顶层使用共享低秩因子的混合策略被发现特别有效，在2,000小时的英语语音搜索任务中，将标准LSTM的参数减少了75%，WER增加了0.3%。
2016-04-09 cs.CL cs.LG cs.NE
Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training
Pennsylvania State University（宾夕法尼亚州立大学）
递归神经网络（RNN），更具体地说是其长短期记忆（LSTM）变体，已被广泛用作深度学习工具，用于处理文本和语音中基于序列的学习任务。这种LSTM应用程序的训练是计算密集型的，因为每个时间步重复的隐藏状态计算的递归性质。虽然深度神经网络中的稀疏性被广泛认为是减少训练和推理阶段计算时间的机会，但在LSTM RNN中使用非ReLU激活使得与神经元激活和梯度值相关的动态稀疏性的机会有限或不存在。在这项工作中，我们确定辍学引起的稀疏LSTM作为一个合适的模式，减少计算。Dropout是一种广泛使用的正则化机制，它在每次训练迭代期间随机丢弃计算的神经元值。我们建议结构辍学模式，通过丢弃同一组物理神经元内的一批，导致列（行）级隐藏状态稀疏，这是很好的服从计算减少在运行时的通用SIMD硬件以及脉动阵列。我们对三个代表性的NLP任务进行了实验：PTB数据集上的语言建模，基于OpenNMT的机器翻译，使用IWALDE-EN和En-Vi数据集，以及使用CoNLL-2003共享任务的命名实体识别序列标记。我们证明了我们提出的方法可以用于将基于丢弃的计算减少转化为减少的训练时间，改进范围从1.23倍到1.64倍，而不会牺牲目标度量。
2021-06-22 cs.CL cs.LG cs.PF
Learning Recurrent Binary/Ternary Weights
McGill University（麦吉尔大学）
递归神经网络（RNN）在处理序列数据方面表现出优异的性能。然而，由于它们的递归性质，它们既复杂又占用大量内存。这些限制使得RNN很难嵌入到需要实时处理的移动设备上，而这些设备的硬件资源有限。为了解决上述问题，我们引入了一种方法，可以在训练阶段学习二进制和三进制权重，以促进RNN的硬件实现。因此，使用这种方法可以通过简单的累加来取代所有的乘法累加运算，从而在硅面积和功耗方面为定制硬件带来显着的好处。在软件方面，我们评估我们的方法使用长短期记忆（LSTM）的性能（在准确性方面）的各种序列模型，包括序列分类和语言建模。我们证明了我们的方法在运行时使用二进制/三进制权重时，在上述任务上取得了有竞争力的结果。在硬件方面，我们提出了自定义硬件，用于加速二进制/三进制权重的LSTM的递归计算。最终，我们表明，与ASIC平台上的全精度实现相比，具有二进制/三进制权重的LSTM可以实现高达12倍的内存节省和10倍的推理加速。
2019-01-24 cs.CC cs.LG stat.ML
Memory Time Span in LSTMs for Multi-Speaker Source Separation
KU Leuven（鲁汶大学）
随着深度学习方法在许多语音（以及非语音）相关的机器学习任务中成为最先进的，人们正在努力钻研通常被认为是黑盒的神经网络。本文通过确定长短期记忆（LSTM）细胞中的相关记忆时间跨度，分析了递归神经网络（RNN）如何处理时间依赖性。这是通过泄漏具有受控生存期的状态变量并评估任务性能来完成的。这种技术可以用于任何任务，以估计LSTM在特定场景中利用的时间跨度。本文的重点是从重叠语音中分离说话人的任务。我们看到两种效果：一个长期的影响，可能是由于扬声器的特性和短期的影响，可能利用电话大小的共振峰轨道。
2018-08-24 cs.LG stat.ML
Variational Bi-LSTMs
Microsoft Maluuba（微软 Maluuba）；MILA, Université de Montréal（蒙特利尔大学 MILA）
像长短期记忆（LSTM）这样的递归神经网络是顺序预测任务的重要架构。LSTM（和一般的RNN）沿着向前的时间方向对序列进行建模。另一方面，双向LSTM（Bi-LSTM）沿着向前和向后方向对序列进行建模，并且通常已知在此类任务中表现更好，因为它们捕获更丰富的数据表示。在Bi-LSTM的训练中，前向和后向路径是独立学习的。我们提出了一种Bi-LSTM架构的变体，我们称之为Variational Bi-LSTM，它在两条路径之间创建了一个通道（在训练期间，但在推理期间可能会被忽略）;从而联合优化了两条路径。我们通过最小化数据序列的联合似然的变分下界来达到我们模型的联合目标。我们的模型充当正则化器，并鼓励两个网络使用不同的信息进行各自的预测。我们进行消融研究，以更好地了解我们模型的不同组成部分，并在各种基准上评估该方法，显示最先进的性能。
2017-11-15 cs.LG stat.ML
Increasing the Interpretability of Recurrent Neural Networks Using Hidden Markov Models
Harvard University（哈佛大学）
随着深度神经网络不断革新各种应用领域，人们越来越有兴趣使这些强大的模型更容易理解和解释，并缩小好的和坏的预测的原因。我们专注于循环神经网络（RNN），语音识别和翻译的最新模型。我们提高可解释性的方法是将RNN与隐马尔可夫模型（HMM）相结合，这是一种更简单，更透明的模型。我们探索了RNN和HMM的各种组合：一个在LSTM状态上训练的HMM;一个混合模型，首先训练HMM，然后给一个小的LSTM提供HMM状态分布并训练以填补HMM性能的缺口;以及一个联合训练的混合模型。我们发现LSTM和HMM学习了关于文本中特征的互补信息。
2016-09-30 cs.CL cs.LG stat.ML
A Tree Architecture of LSTM Networks for Sequential Regression with Missing Data
ASELSAN Research Center（ASELSAN研究中心）；Bilkent University（比尔肯特大学）；DataBoss A.S.（DataBoss公司）
我们研究了包含缺失样本的变长序列数据的回归，并引入了一种新的基于长短期记忆（LSTM）网络的树结构。在我们的架构中，我们采用了可变数量的LSTM网络，这些网络只使用序列中现有的输入，在树状架构中没有任何统计假设或对缺失数据的估算，这与之前的所有方法不同。特别是，我们通过基于一定数量的先前输入的“存在模式”选择这些LSTM网络的子集来合并缺失信息。从混合专家模型角度来看，我们训练不同的LSTM网络作为我们的专家，用于各种缺失模式，然后结合它们的输出来生成最终的预测。我们还提供了所提出的架构的计算复杂性分析，其与传统LSTM架构的序列长度的复杂性处于相同的数量级。我们的方法可以很容易地扩展到类似的结构，如GRU，RNN，如在论文中所述。在实验中，我们实现了显着的性能改善相对于国家的最先进的方法为知名的金融和现实生活中的数据集。
2020-05-22 cs.LG stat.ML
RecLight: A Recurrent Neural Network Accelerator with Integrated Silicon Photonics
Colorado State University（科罗拉多州立大学）
递归神经网络（RNN）用于学习数据序列中的依赖关系的应用，例如语音识别、人类活动识别和异常检测。近年来，较新的RNN变体，如GRU和LSTM，已被用于实现这些应用程序。由于许多这些应用程序都是在实时场景中使用的，因此加速RNN/LSTM/GRU推理至关重要。在本文中，我们提出了一种新的光子硬件加速器RecLight，用于加速简单的RNN，GRU和LSTM。仿真结果表明，与最先进的技术相比，RecLight的每比特能量降低了37倍，吞吐量提高了10%。
2022-08-31 cs.AR cs.LG cs.NE
Iterative evaluation of LSTM cells
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Universidad Nacional de Tres de Febrero（二月三日国立大学）
在这项工作中，我们提出了通过LSTM网络的传统信息流的修改，我们认为它通常非常适合RNN。这种修改导致了一种迭代方案，其中LSTM单元执行的计算在恒定的输入和单元状态值上重复，同时更新隐藏状态有限次。我们提供了理论和经验证据来支持迭代方案的增强功能，并显示与语言建模相关的示例。修改产生的增强模型的性能相比，原模型增加了3倍以上的参数的总量。
2018-07-11 cs.LG cs.NE stat.ML
Learning functionals via LSTM neural networks for predicting vessel dynamics in extreme sea states
Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）
船舶在极端海况下的运动预测是船舶水动力学中最具挑战性的问题之一。它涉及到计算复杂的非线性波体相互作用，因此繁重的计算资源。在这里，我们提出了一种新的模拟范例，通过训练递归型神经网络（RNN），将特定海况下的随机波浪高度作为输入，并输出主要船舶运动，例如，俯仰、起伏和滚动。我们首先比较了标准RNN与GRU和LSTM神经网络（NN）的性能，并表明LSTM NN具有最佳性能。然后，我们研究了两个代表性的船只，在海况1双体船和在海况8战舰的测试误差。我们证明，在这两种情况下，在预测船舶运动看不见的波高程实现了良好的精度。我们用昂贵的CFD模拟离线训练神经网络，但在训练后，可以在几分之一秒内获得对船舶动态的在线预测。这项工作的动机是泛逼近定理的泛函[1]，这是第一次实现这样的理论，以现实的工程问题。
2019-12-23 cs.LG
Optimizing Bayesian Recurrent Neural Networks on an FPGA-based Accelerator
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
神经网络已经在广泛的任务中展示了其出色的性能。特别是基于长短期记忆（LSTM）单元的递归架构已经表现出对真实世界数据中的时间依赖性建模的出色能力。然而，标准的递归架构不能估计它们的不确定性，这对于安全关键应用（如医学）至关重要。相比之下，贝叶斯循环神经网络（RNN）能够提供具有改进的准确性的不确定性估计。尽管如此，贝叶斯RNN在计算和内存方面都有很高的要求，这限制了它们的实用性。为了解决这个问题，我们提出了一种基于FPGA的硬件设计来加速基于贝叶斯LSTM的RNN。为了进一步提高整体算法硬件性能，提出了一个协同设计框架，以探索最适合贝叶斯RNN的算法硬件配置。我们在医疗应用程序上进行了广泛的实验，以证明我们的设计和我们的框架的有效性的改进。与GPU实现相比，我们基于FPGA的设计可以实现高达10倍的加速比和近106倍的能效。据我们所知，这是第一个针对FPGA上贝叶斯RNN加速的工作。
2021-11-07 cs.LG
Learning Intrinsic Sparse Structures within Long Short-Term Memory
Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）；Microsoft Research（微软研究院）；Bing（必应）；Business AI（商业人工智能）；Microsoft（微软）
模型压缩对于在拥有有限资源的用户设备和需要对大规模服务请求进行快速响应的业务集群中广泛采用递归神经网络（RNN）具有重要意义。这项工作旨在通过减少LSTM单元中基本结构的大小来学习结构稀疏的长短期记忆（LSTM），包括输入更新，门，隐藏状态，单元状态和输出。独立地减小基本结构的大小可能会导致它们之间的尺寸不一致，从而导致无效的LSTM单元。为了克服这个问题，我们提出了内在稀疏结构（ISS）的LSTM。删除ISS的一个组件将同时将所有基本结构的尺寸减少一个，从而始终保持尺寸的一致性。通过在LSTM单元内学习ISS，获得的LSTM保持规则，同时具有更小的基本结构。基于组Lasso正则化，我们的方法实现了10.59倍的加速，而不会失去任何语言建模的Penn TreeBank数据集的困惑。它也成功地通过一个紧凑的模型，只有2.69 M的权重为机器问答的SQuAD数据集进行评估。我们的方法成功地扩展到非LSTM RNN，如递归高速公路网络（RHN）。我们的源代码可在https://github.com/wenwei202/iss-rnns上公开获取
2018-02-11 cs.AI cs.CL cs.LG
Recurrent Neural Network Training with Dark Knowledge Transfer
Huilan Ltd.（慧兰有限公司）；Sinovoice（中科信利）
递归神经网络（RNN），特别是长短期记忆（LSTM），在自动语音识别（ASR）中得到了广泛的关注。尽管已经报道了一些成功的案例，但训练RNN仍然具有很大的挑战性，特别是在训练数据有限的情况下。最近的研究发现，经过良好训练的模型可以作为教师来训练其他子模型，通过使用教师模型生成的预测作为监督。这种知识转移学习已被用来训练简单的神经网络与一个复杂的，使最终的性能可以达到一个水平，这是不可行的，以获得定期的培训。在本文中，我们采用知识转移学习方法来训练RNN（准确地说是LSTM），使用深度神经网络（DNN）模型作为教师。这与大多数现有的知识转移学习研究不同，因为教师（DNN）被假设为弱于儿童（RNN）;然而，我们在ASR任务上的实验表明，它工作得相当好：在学习方案上没有应用任何技巧，这种方法即使在有限的训练数据下也可以成功地训练RNN。
2016-05-08 cs.CL cs.LG cs.NE
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington（华盛顿大学）
循环神经网络（RNN）是处理连续数据的强大而有效的方法。然而，RNN通常被认为是“黑箱”模型，其内部结构和学习参数是不可解释的。在本文中，我们提出了一个可解释的RNN的顺序迭代软阈值算法（SISTA）的基础上解决顺序稀疏恢复问题，该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的，这导致了一种新的堆叠RNN架构。此外，SISTA-RNN的权重完全可以解释为原则性统计模型的参数，在这种情况下，包括稀疏化字典，迭代步长和正则化参数。此外，在特定的顺序压缩感知任务中，SISTA-RNN比传统的最先进的黑盒RNN（包括长短期记忆（LSTM）RNN）训练得更快，性能更好。
2016-11-22 cs.LG stat.ML
Learning and Generalization in RNNs
Princeton University（普林斯顿大学）；Microsoft Research India（微软印度研究院）
简单的递归神经网络（RNN）及其更高级的表亲LSTM等在序列建模方面非常成功。然而，他们的理论理解是缺乏的，并没有跟上前馈网络的进展，在高度过参数化的一个隐藏层网络的特殊情况下，已经出现了一个合理的完整的理解。在本文中，我们通过证明RNN可以学习序列的函数来弥补这种情况。在以前的工作，只能处理的功能的序列，是在序列中的各个令牌的功能的总和，我们允许一般的功能。从概念和技术上讲，我们引入了新的想法，使我们能够在证明中从RNN的隐藏状态中提取信息-解决了以前工作中的一个关键弱点。我们举例说明我们的一些正则语言识别问题的结果。
2021-05-31 cs.LG
Short-term Demand Forecasting for Online Car-hailing Services using Recurrent Neural Networks
University of Tehran（德黑兰大学）
短时交通流预测是智能交通系统的关键问题之一，是智慧城市的重要组成部分。准确的预测可以使驾驶员和乘客更好地决定他们的出行路线，出发时间和出行起点的选择，这可以有助于交通管理。基于时间序列预测和机器学习的多种模型和算法被应用于该问题，并取得了令人满意的结果。最近，充足的数据和计算能力的可用性促使我们通过深度学习方法来提高预测精度。循环神经网络已成为时间序列预测中最流行的方法之一，然而，由于这些网络的多样性，哪种类型的网络是最适合这一任务的问题仍然没有得到解决。本文采用简单RNN单元、GRU和LSTM神经网络三种递归神经网络进行短时交通流预测。来自TAP30 Corporation的数据集用于构建模型，并将RNN与几个知名模型（如DEMA，LASSO和XGBoost）进行比较。结果表明，所有三种类型的RNN都优于其他RNN，但是，更简单的RNN，如简单的递归单元和GRU，在准确性和训练时间方面比LSTM表现得更好。
2019-01-29 cs.LG stat.ML
High Cycle S-N curve prediction for Al 7075-T6 alloy using Recurrent Neural Networks (RNNs)
Aryan Patel（独立研究者）
针对铝合⾦高周疲劳S-N曲线表征耗时成本高的问题，提出基于LSTM的迁移学习框架，用轴向疲劳数据训练模型迁移预测高周扭转S-N曲线，可降低测试成本并优化测试优先级。
2025-10-02 cond-mat.mtrl-sci cs.LG physics.app-ph
Gated Orthogonal Recurrent Units: On Learning to Forget
Massachusetts Institute of Technology（麻省理工学院）；MILA - Universite de Montreal（蒙特利尔大学MILA）
我们提出了一种新的基于递归神经网络（RNN）的模型，该模型将酉RNN的记忆能力与门控RNN有效忘记其记忆中冗余/不相关信息的能力相结合。我们通过使用门控机制扩展酉RNN来实现这一点。我们的模型能够在几个长期依赖基准任务上优于LSTM，GRU和酉RNN。我们的经验都表明，正交/酉RNN缺乏遗忘能力，并且在遗忘不相关信息的同时，RNN也缺乏记住长期依赖关系的能力。这在递归神经网络中起着重要作用。我们提供了有竞争力的结果，以及我们的模型在许多自然的顺序任务，包括bAbI问答，TIMIT语音频谱预测，宾州树库，和合成任务，涉及长期的依赖关系，如算法，括号，去噪和复制任务的分析。
2017-10-25 cs.LG cs.NE stat.ML
On Evaluating the Generalization of LSTM Models in Formal Languages
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
递归神经网络（RNN）在理论上是图灵完备的，并已成为语言处理的主导模型。然而，他们的语言学习能力仍然存在不确定性。在本文中，我们经验性地评估了长短期记忆网络（简单RNN的流行扩展）学习简单形式语言（特别是$a^nb^n$、$a^nb^nc^n$和$a^nb^nc^nd^n$）的归纳学习能力。我们研究了学习的各个方面，如训练数据制度和模型容量，对未观察到的样本的泛化的影响。我们发现在不同的训练设置下，模型的性能存在显着差异，并强调在对神经网络模型的学习能力提出要求时，需要进行仔细的分析和评估。
2018-11-02 cs.AI cs.CL cs.LG
Parallel Long Short-Term Memory for Multi-stream Classification
LIA - University of Avignon（LIA - 阿维尼翁大学）；EDD；McGill University（麦吉尔大学）
最近，机器学习方法已经提供了基于深度神经网络（DNN）的广泛的原始且有效的算法，以自动预测关于输入序列的结果。递归隐藏单元允许这些基于DNN的模型管理长期依赖关系，例如递归神经网络（RNN）和长短期记忆（LSTM）。然而，这些RNN在一个（LSTM）或两个（双向LSTM）方向上处理单个输入流。但是，现在可用的大多数信息来自多流或多媒体文档，并且要求RNN在训练期间同步处理这些信息。本文提出了一种基于LSTM的原始架构，称为并行LSTM（PLSTM），它执行多个并行同步输入序列以预测公共输出。所提出的PLSTM方法可用于并行序列分类目的。PLSTM的方法进行评估的自动电视广播类型序列分类任务，并与不同的国家的最先进的架构进行比较。结果表明，所提出的PLSTM方法优于基线n-gram模型以及最先进的LSTM方法。
2017-02-11 cs.CL cs.LG
Automatic Construction of a Recurrent Neural Network based Classifier for Vehicle Passage Detection
Skoltech（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems RAS（俄罗斯科学院信息传输问题研究所）
递归神经网络（RNN）广泛用于时间序列建模和预测。提出了一种基于长短期记忆RNNs（LSTM-RNNs）的二元分类器的自动构造方法，用于检测通过检查站的车辆。作为分类器的输入，我们使用安装在检查点上的各种传感器的多维信号。获得的结果表明，以前的方法手工制作的分类器，由一组确定性的规则，可以成功地取代自动RNN训练适当标记的数据。
2016-09-26 cs.CV cs.LG stat.ML
Comparison between DeepESNs and gated RNNs on multivariate time-series prediction
University of Pisa（比萨大学）
我们提出了深度回声状态网络（DeepESN）和门控递归神经网络（RNN）在多变量时间序列预测任务上的实验比较。特别是，我们比较了水库和完全训练的RNN，它们能够表示具有多个时间尺度动态特征的信号。在4个复调音乐任务的效率和预测精度方面进行了分析。我们的研究结果表明，DeepESN在预测准确性和效率方面能够优于ESN。然而，在完全训练的方法之间，门控递归单元（GRU）在大多数情况下优于长短期记忆（LSTM）和简单的RNN模型。总体而言，DeepESN比其他RNN方法效率更高，并且在4个任务中的3个任务的预测准确性方面是最佳解决方案。
2019-11-20 cs.LG cs.NE stat.ML
Fusion Recurrent Neural Network
Tsinghua University（清华大学）；DiDi AI Labs（滴滴人工智能实验室）
考虑到深度序列学习的实际应用，两个代表性的RNN- LSTM和GRU可能会首先出现在脑海中。然而，其他RNN就没有机会了吗？未来会有更好的RNN吗？在这项工作中，我们提出了一种新的，简洁的和有前途的RNN融合循环神经网络（融合RNN）。融合RNN在每一个时间步都由Fusion模块和Transport模块组成。融合模块实现了输入状态向量和隐状态向量的多轮融合。传输模块主要是利用简单递归网络计算隐层状态，并准备将其传递到下一个时间步。此外，为了评估融合RNN的序列特征提取能力，我们选择了一个代表性的序列数据的数据采掘任务，估计到达时间（ETA），并提出了一种新的模型的基础上融合RNN。我们在滴滴出行的大量车辆行驶数据下，将我们的方法和其他RNN变体用于ETA。结果表明，对于ETA，Fusion RNN与最先进的LSTM和GRU相当，后者比Fusion RNN更复杂。
2020-06-07 cs.LG stat.ML
Estimating Vehicle Speed on Roadways Using RNNs and Transformers: A Video-based Approach
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
针对传统车辆测速方法成本高、覆盖有限等问题，本研究提出基于视频的LSTM、GRU和Transformer测速方案，验证了门控机制与长序列的优势，Transformer适配多场景，可提升测速系统性能，助力交通管理与安全。
2025-02-21 cs.CV cs.LG eess.IV
Parallelizing Linear Recurrent Neural Nets Over Sequence Length
Future of Humanity Institute, University of Oxford（牛津大学人类未来研究所）
递归神经网络（RNN）被广泛用于对序列数据进行建模，但它们在序列元素之间的非线性依赖关系阻止了序列长度上的并行训练。我们证明了只有线性顺序依赖关系的RNN的训练可以使用并行扫描算法在序列长度上并行化，从而即使在小的minibatch大小下也可以快速训练长序列。我们开发了一个并行线性递归CUDA内核，并表明它可以立即将几种最先进的RNN架构的训练和推理速度提高9倍。我们将最近关于线性RNN的工作抽象成一个新的线性代理RNN框架，并为长短期记忆单元GILR-LSTM开发了一个线性代理模型，该模型利用并行线性递归。我们将序列学习扩展到新的极长序列机制，这些机制以前是无法实现的，我们成功地在具有一百万时间步依赖性的合成序列分类任务上训练了GILR-LSTM。
2018-02-22 cs.AI cs.LG cs.NE
testRNN: Coverage-guided Testing on Recurrent Neural Networks
University of Liverpool（利物浦大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Defence Science and Technology Laboratory (Dstl)（国防科学技术实验室（Dstl））
循环神经网络（RNN）已被广泛应用于诸如文本处理、视频识别和分子性质预测的各种顺序任务。我们介绍了第一个覆盖率引导的测试工具，创造了testRNN，用于验证和验证一个主要类别的RNN，长短期记忆网络（LSTM）。该工具实现了一种通用的基于变异的测试用例生成方法，并使用三种新的LSTM结构测试覆盖度量来经验性地评估网络的鲁棒性。此外，它还能够帮助模型设计者完成LSTM层的内部数据流处理。该工具可通过https://github.com/TrustAI/testRNN在BSD 3-Clause许可证下获得。
2019-06-20 cs.LG cs.NE cs.SE
Data-driven Prognostics with Predictive Uncertainty Estimation using Ensemble of Deep Ordinal Regression Models
TCS Research（塔塔咨询服务研究中心）
预测或剩余使用寿命（RUL）估计从多传感器时间序列数据是有用的，使基于条件的维护，并确保设备的高操作可用性。我们提出了一种新的基于深度学习的方法，用于预测不确定性量化，这在以下情况下是有用的：（i）由于故障的罕见性，对标记的故障数据的访问是稀缺的（ii）未来的操作条件是不可观察的（iii）传感器读数中存在固有的噪声。上述三种情况都是RUL估计过程中不可避免的不确定性来源，通常会导致不可靠的RUL估计。为了解决（i），我们将RUL估计公式化为有序回归（OR）问题，并提出LSTM-OR：基于深度长短期记忆（LSTM）网络的方法来学习OR函数。我们表明，LSTM-OR自然允许在训练中结合审查的操作实例以及失败的实例，从而实现更强大的学习。为了解决（ii），我们提出了一个简单而有效的方法来量化预测的不确定性，在RUL估计模型的训练LSTM-OR模型的合奏。通过对C-MAPSS涡扇发动机基准数据集的实证评估，我们证明了LSTM-OR明显优于常用的基于深度度量回归的RUL估计方法，特别是当失败的训练实例很少时。此外，我们的不确定性量化方法产生高质量的预测不确定性估计，同时也导致改进的RUL估计相比，单一的最佳LSTM-OR模型。
2021-03-04 cs.LG stat.ML
