Comparative Analysis of Liquid Neural Networks and LSTM for Sequential Pattern Recognition: Robustness, Efficiency, and Clinical Utility
National Electronics and Computer Technology Center (NECTEC)（国家电子与计算机技术中心）；Language Understanding Lab.（语言理解实验室）
本文通过对比液态神经网络（LNN）与LSTM在四种序列数据上的性能，发现LNN在参数效率和鲁棒性方面更优，尤其适用于数据稀疏的临床环境。
2026-05-26 cs.AI cs.CV cs.LG
A Comparative Analysis of Transformer and LSTM Models for Detecting Suicidal Ideation on Reddit
Missouri State University（密苏里州立大学）
本文比较了多种Transformer和LSTM模型在Reddit自杀意念检测中的表现，发现RoBERTa准确率最高（93.22%），验证了先进NLP技术用于社交媒体心理健康监测的潜力。
2024-11-23 cs.CL cs.LG cs.SI
Compressing Recurrent Neural Networks with Tensor Ring for Action Recognition
University of Electronic Science and Technology of China（电子科技大学）；Weill Cornell Medical College, Cornell University（康奈尔大学威尔康奈尔医学院）；Tencent Inc.（腾讯公司）
循环神经网络（RNN）及其变体，如长短期记忆（LSTM）网络和门控循环单元（GRU）网络，在序列数据建模中取得了令人满意的性能。RNN中的隐藏层可以被视为记忆单元，有助于在顺序上下文中存储信息。然而，当处理高维输入数据时，如视频和文本，RNN中的输入到隐藏的线性变换带来了高的内存使用和巨大的计算成本。这使得RNN的训练变得不可扩展和困难。为了解决这一挑战，我们提出了一种新的紧凑LSTM模型，称为TR-LSTM，通过利用低秩张量环分解（TRD）来重新制定输入到隐藏的转换。与其他张量分解方法相比，TR-LSTM更稳定。此外，TR-LSTM可以完成端到端的训练，也为RNN处理大输入数据提供了基本的构建块。在真实世界动作识别数据集上的实验表明，与张量训练LSTM和其他最先进的竞争对手相比，所提出的TR-LSTM具有良好的性能。
2018-11-19 cs.CV cs.LG
Forecasting Energy Consumption using Recurrent Neural Networks: A Comparative Analysis
Centre for Development of Advanced Computing (C-DAC)（高级计算发展中心）
本文提出基于LSTM的能源消耗预测方法，通过整合历史数据与外部变量，显著提升了预测精度，优于传统神经网络基线。
2026-01-23 cs.AI cs.CY cs.LG
A comparison of LSTM and GRU networks for learning symbolic sequences
The University of Manchester（曼彻斯特大学）
本文通过生成不同复杂度的符号序列训练并比较LSTM与GRU网络，发现深度增加不一定提升记忆，学习率与每层单元数是关键超参数，且GRU擅长低复杂度序列，LSTM擅长高复杂度序列。
2023-01-04 cs.LG cs.NE
Log Message Anomaly Detection and Classification Using Auto-B/LSTM and Auto-GRU
University of Victoria（维多利亚大学）
日志消息在软件系统中得到了广泛的应用。它们对于分类很重要，因为每天生成数百万个日志。大多数日志都是非结构化的，这使得分类成为一项挑战。本文开发了称为Auto-LSTM、Auto-BLSTM和Auto-GRU的深度学习（DL）方法，用于异常检测和日志分类。这些模型用于将非结构化日志数据转换为适合分类算法的提取特征。他们使用四个数据集进行评估，即BGL，OpenStack，Thunderbird和IMDB。前三个是流行的日志数据集，而第四个是用于情感分类的电影评论数据集。结果表明，Auto-LSTM、Auto-BLSTM和Auto-GRU的性能优于其他知名算法。
2021-04-07 cs.LG stat.ML
Prototypical Recurrent Unit
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）
尽管深度学习取得了巨大的成功，但深度神经网络的有效性尚未在任何理论深度上得到理解。这项工作的动机是深入了解递归神经网络，特别是LSTM/GRU类网络。由于LSTM和GRU网络中递归单元的高度复杂结构使其难以分析，我们在本研究主题中的方法是构建一个尽可能简单的替代递归单元，同时也捕获LSTM/GRU递归单元的关键组件。这样的单元可以用于研究递归网络，其结构简单，可以更容易地进行分析。为了实现这一目标，我们从系统理论的角度设计了一个新的循环单元，我们称之为原型循环单元（PRU）。PRU不仅具有最小的复杂性，而且实验证明PRU具有与GRU和LSTM单元相当的性能。这建立了PRU网络作为未来研究LSTM/GRU类递归网络的原型。本文还研究了LSTM、GRU和PRU网络的记忆能力，其动机是民间认为这些网络具有长期记忆。为此，我们设计了一个简单而可控的任务，称为“记忆问题”，其中网络被训练来记忆某些目标信息。我们发现，所有三个网络的记忆性能取决于有针对性的信息量，“干扰”的信息量，和状态空间维度的经常性单位。对另一个可控任务加法问题也进行了实验，得到了类似的结论。
2018-02-09 cs.LG
CovidMis20: COVID-19 Misinformation Detection System on Twitter Tweets using Deep Learning Models
Saginaw Valley State University（萨吉诺谷州立大学）；The Hashemite University（哈希姆大学）；Western Michigan University（西密歇根大学）；University of Nebraska at Kearney（内布拉斯加大学卡尼尔分校）
在线新闻和信息源是了解当前问题的方便和可访问的方式。例如，全球有3亿多人在推特上发帖，这为传播误导性信息提供了可能性。由于假新闻而犯下暴力犯罪的案件很多。这项研究提出了CovidMis 20数据集（COVID-19 Misinformation 2020数据集），其中包括从2020年2月至7月收集的1，375，592条推文。CovidMis 20可自动更新以获取最新新闻，并可在https://github.com/everythingguy/CovidMis20上公开获取。这项研究使用Bi-LSTM深度学习和集成CNN+Bi-GRU进行假新闻检测。结果表明，在测试准确度分别为92.23%和90.56%的情况下，集成CNN+Bi-GRU模型始终提供比Bi-LSTM模型更高的准确度。
2022-09-13 cs.CL cs.HC cs.LG
An Open-Source and Reproducible Implementation of LSTM and GRU Networks for Time Series Forecasting
institutetext: Independent, Bolivia（独立研究者，玻利维亚）
本文提出用于时间序列预测的 LSTM 和 GRU 网络的开源可复现实现，在 Activities 数据集上显著优于基线，并发布数据集与代码以促进未来比较。
2025-04-25 cs.LG
Deep Gated Recurrent and Convolutional Network Hybrid Model for Univariate Time Series Classification
用于时间序列分类的混合LSTM-全卷积网络（LSTM-FCN）在单变量时间序列上产生了最先进的分类结果。我们证明，用门控递归单元（GRU）替换LSTM来创建GRU-全卷积网络混合模型（GRU-FCN）可以在许多时间序列数据集上提供更好的性能。所提出的GRU-FCN模型在许多单变量和多变量时间序列数据集上的分类性能优于最先进的分类性能。此外，由于GRU使用比LSTM更简单的架构，因此与基于LSTM的模型相比，它具有更少的训练参数，更少的训练时间和更简单的硬件实现。
2019-02-20 cs.LG stat.ML
Short-term Prediction of Household Electricity Consumption Using Customized LSTM and GRU Models
随着电力系统的发展，它变得更加智能和交互式系统，同时随着可再生能源的更大渗透而增加灵活性，短期解决方案的需求预测在未来电网的设计和管理中将不可避免地变得越来越重要，特别是当涉及到单个家庭时。预测单一能源用户的电力需求，而不是大规模住宅负荷的总电力消耗，是困难的，因为有相当多的波动和不确定因素。本文提出了一种定制的GRU（门控递归单元）和长短期记忆（LSTM）架构来解决这个具有挑战性的问题。LSTM和GRU相对较新，也是最常用的深度学习方法之一。用电量数据集来自单个家庭智能电表。比较表明，在这种情况下，LSTM模型在家庭级预测方面的表现优于替代预测技术GRU。为了将基于NN的模型与传统的基于统计技术的模型进行比较，还开发了基于ARIMA的模型，并在本研究中使用LSTM和GRU模型结果进行基准测试，以显示所提出的模型在收集的时间序列数据上的性能。
2022-12-16 cs.LG cs.NE eess.SP
Comparative Analysis of LSTM, GRU, and Transformer Models for Stock Price Prediction
University of Connecticut（康涅狄格大学）；University of Rochester（罗切斯特大学）；Northeastern University（东北大学）
本文以AI驱动的股票价格趋势预测为核心，使用特斯拉2015至2024年数据比较了LSTM、GRU和Transformer模型，实验表明LSTM模型准确率达94%，有助于投资者做出明智决策。
2024-10-20 cs.LG q-fin.ST
Gating creates slow modes and controls phase-space complexity in GRUs and LSTMs
CUNY Graduate Center（纽约市立大学研究生中心）；Princeton University（普林斯顿大学）
递归神经网络（RNN）是处理具有复杂时间结构数据的强大动力学模型。然而，由于梯度的爆炸或消失，训练RNN传统上被证明具有挑战性。RNN模型，如LSTM和GRU（及其变体），通过在架构中引入各种类型的门控单元，显著缓解了这些与训练相关的问题。虽然这些门经验性地提高了性能，但门的添加如何影响GRU和LSTM的动态和可训练性还没有得到很好的理解。在这里，我们把随机初始化的LSTM和GRU作为动力系统来研究，并询问门如何塑造显着的动力学特性。我们利用随机矩阵理论和平均场理论的工具来研究GRU和LSTM的状态到状态雅可比矩阵。我们证明了GRU中的更新门和LSTM中的遗忘门可以导致动态中慢模式的积累。此外，GRU更新门可以将系统平衡在边缘稳定点。GRU中的复位门和LSTM中的输出和输入门控制雅可比矩阵的谱半径，GRU复位门还调节固定点景观的复杂性。此外，对于GRU，我们得到一个相图描述的统计特性的不动点。我们还提供了一个初步的训练性能比较不同的超参数实现的各种动力学制度。展望未来，我们已经引入了一套强大的技术，可以适应广泛的RNN类别，研究各种架构选择对动态的影响，并可能激发新架构的原则性发现。
2020-06-15 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Dynamical Isometry and a Mean Field Theory of LSTMs and GRUs
Columbia University（哥伦比亚大学）；University of British Columbia（不列颠哥伦比亚大学）；Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
在长序列任务上训练递归神经网络（RNN）受到信号在网络中向前或向后传播时的指数爆炸或消失所带来的困难的困扰。已经提出了许多技术来改善这些问题，包括各种算法和架构修改。两个最成功的RNN架构，LSTM和GRU，确实比普通RNN细胞表现出适度的改进，但在非常长的序列上训练时，它们仍然存在不稳定性。在这项工作中，我们开发了LSTM和GRU中信号传播的平均场理论，使我们能够计算信号传播的时间尺度以及状态到状态雅可比矩阵的谱特性。通过优化这些量的初始化超参数，我们得到了一个新的初始化方案，消除或减少训练不稳定性。我们证明了我们的初始化方案在多个序列任务上的有效性，它使成功的训练，而标准的初始化要么完全失败，要么慢了几个数量级。我们还观察到使用这种新的初始化对泛化性能的有益影响。
2019-05-24 cs.LG stat.ML
LSTM vs. GRU vs. Bidirectional RNN for script generation
Medi-Caps University（梅迪卡普斯大学）
电视剧是任何电视剧的重要组成部分。它们叙述人物的动作、行为和表情。在本文中，我们将介绍一个案例研究，探讨不同的序列到序列深度学习模型在角色之间生成新对话以及基于脚本（先前对话）生成新场景的任务中的表现。对这些模型，即LSTM、GRU和双向RNN进行了全面的比较。所有的模型都被设计成从输入序列中学习重复出现的字符序列。每个输入序列将包含例如“n”个字符，并且对应的目标将包含相同数量的字符，除了它们将向右移动一个字符。以这种方式，生成输入和输出序列并将其用于训练模型。一个更仔细的分析探索模型的性能和效率描绘的帮助下，图形和生成的文本，通过采取一些输入字符串。这些图描述了每个模型的神经内性能和神经间模型性能。
2019-08-12 cs.CL cs.LG
Efficiently applying attention to sequential data with the Recurrent Discounted Attention unit
Institute of Security Science and Technology（安全技术研究所）；Imperial College London（帝国理工学院）
递归神经网络架构擅长通过对不同时间尺度上的依赖关系进行建模来处理序列。最近引入的递归加权平均（RWA）单元在几个具有挑战性的任务上比LSTM更好地捕获长期依赖关系。RWA通过对每个输入应用注意力并计算其计算的整个历史的加权平均值来实现这一点。不幸的是，RWA无法改变它分配给先前时间步的注意力，因此难以执行连续的任务或具有变化需求的任务。我们提出的经常性折扣注意力（RDA）单位，建立在RWA额外允许过去的折扣。我们在几个具有挑战性的任务上将我们的模型与RWA，LSTM和GRU单元进行了经验比较。在具有单一输出的任务中，RWA、RDA和GRU单元的学习速度比LSTM快得多，性能也更好。在多序列复制任务中，我们的RDA单元学习任务的速度是LSTM或GRU单元的三倍，而RWA根本无法学习。在Wikipedia字符预测任务中，LSTM表现最好，但紧随其后的是我们的RDA单元。总的来说，我们的RDA单元表现良好，并且在各种各样的序列任务上都是高效的。
2017-06-19 cs.LG
A GRU-based Mixture Density Network for Data-Driven Dynamic Stochastic Programming
Concordia University（康考迪亚大学）；Shenyang Aerospace University（沈阳航空航天大学）；Ericsson INC.（爱立信公司）
解决时间序列问题的传统深度学习方法，如长短期记忆（LSTM）和门控递归单元（GRU），都将时间序列数据序列作为输入，单个单元作为输出（预测的时间序列结果）。这些深度学习方法在许多与时间序列相关的问题中取得了巨大的成功，然而，这不能应用于数据驱动的随机规划问题，因为LSTM或GRU的输出是标量而不是随机规划模型所需的概率分布。为了填补这一空白，在这项工作中，我们提出了一个创新的数据驱动的动态随机规划（DD-DSP）框架的时间序列决策问题，其中包括三个组成部分：GRU、高斯混合模型（GMM）和SP。具体来说，我们设计了集成GRU和GMM的深度神经网络，称为基于GRU的混合密度网络（MDN），其中GRU用于基于最近的历史数据预测时间序列结果，GMM用于提取预测结果的相应概率分布，然后将结果作为SP的参数输入。为了验证我们的方法，我们将该框架应用于汽车共享搬迁问题。实验验证表明，我们的框架优于基于LSTM的数据驱动优化，车辆平均移动低于LSTM。
2020-06-26 cs.LG eess.SP math.OC
Performance Evaluation of Deep Learning Models for Water Quality Index Prediction: A Comparative Study of LSTM, TCN, ANN, and MLP
Karakoram International University（喀喇昆仑国际大学）；China University of Geosciences（中国地质大学）；Hamdard University（哈姆达德大学）；Applied Science Private University（应用科学私立大学）；University of Sindh（信德大学）；University of Agriculture Faisalabad（费萨拉巴德农业大学）；Tianjin University（天津大学）；King Saud University（沙特国王大学）
本研究围绕水质指数（WQI）预测任务，对比评估LSTM、TCN、ANN、MLP四类深度学习模型的性能，服务于环境监测领域的水质评估工作。
2024-11-03 cs.LG
Sensitivity Analysis of GRU, LSTM and Transformer Encoder in Classification of Automated Driving Systems
本文研究GRU、LSTM、Transformer编码器对Level 2级自动驾驶系统的分类性能，提出含5类损坏的鲁棒性评估框架，发现时间抖动会大幅降低三类模型的宏F1。
2026-08-03 cs.AI cs.LG
Neural Networks with LSTM and GRU in Modeling Active Fires in the Amazon
Universidade Estadual da Paraíba（帕拉伊巴州立大学）
本研究针对巴西亚马逊地区AQUA_M-T卫星探测的活跃火点时间序列，提出结合LSTM和GRU的混合RNN预测模型，经双种子交叉验证验证其能有效捕捉季节性并实现优异预测性能，为环境监测及自然现象预测的深度学习应用提供新方向。
2024-11-01 cs.AI cs.LG stat.AP
The Statistical Recurrent Unit
Carnegie Mellon University（卡内基梅隆大学）
复杂的门控递归神经网络架构（如LSTM和GRU）已被证明在无数应用中非常有效。我们开发了一个非门控单元，统计循环单元（SRU），它能够通过只保持统计数据的移动平均值来学习数据中的长期依赖关系。SRU的架构简单，无门控，并且包含与LSTM相当数量的参数;然而，SRU的性能优于更复杂的LSTM和GRU替代品，通常在各种任务中优于其中一个或两者。我们通过在贝叶斯优化方案中针对合成任务和现实任务优化各自架构的超参数，以无偏的方式展示了SRU与LSTM和GRU相比的功效。
2017-03-01 cs.AI cs.LG stat.ML
RecLight: A Recurrent Neural Network Accelerator with Integrated Silicon Photonics
Colorado State University（科罗拉多州立大学）
递归神经网络（RNN）用于学习数据序列中的依赖关系的应用，例如语音识别、人类活动识别和异常检测。近年来，较新的RNN变体，如GRU和LSTM，已被用于实现这些应用程序。由于许多这些应用程序都是在实时场景中使用的，因此加速RNN/LSTM/GRU推理至关重要。在本文中，我们提出了一种新的光子硬件加速器RecLight，用于加速简单的RNN，GRU和LSTM。仿真结果表明，与最先进的技术相比，RecLight的每比特能量降低了37倍，吞吐量提高了10%。
2022-08-31 cs.AR cs.LG cs.NE
Neural Chronos ODE: Unveiling Temporal Patterns and Forecasting Future and Past Trends in Time Series Data
Centre of Mathematics, University of Minho（米尼奥大学数学中心）
本文提出神经时间序常微分方程（Neural CODE）架构，通过连续时间ODE拟合实现时间序列的前向和后向预测，并探索与RNN的结合变体；实验表明其在稀疏数据下优于Neural ODE，且双向变体在插补和外推任务上表现最佳。
2023-07-03 cs.LG
MCRM: Mother Compact Recurrent Memory
LSTM和GRU是用于解决时间序列问题的最常见的递归神经网络架构。这两种架构具有不同的数据流，处理称为单元状态（也称为存储器）的公共组件。我们试图通过提出一种我们称之为母亲紧凑递归记忆（MCRM）的修改来增强记忆。MCRM是一种嵌套LSTM-GRU架构，其中单元状态是GRU隐藏状态。来自LSTM的遗忘门和输入门交互的级联被认为是GRU单元的输入。由于MCRM具有这种类型的嵌套，MCRM具有由神经元组成的紧凑的记忆模式，这些神经元以长期和短期的方式明确地起作用。对于一些特定的任务，实证结果表明，MCRM优于以前使用的架构。
2019-08-06 cs.LG cs.NE stat.ML
A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU
Faculty of Computer Science and Information Technology, University Putra Malaysia (UPM)（马来西亚博特拉大学计算机科学与信息技术学院）
本文综述多类深度学习模型的结构、应用、优势与局限，并基于IMDB、ARAS和Fruit-360数据集比较RNN系列、TCN、Transformer及多种CNN模型的性能。
2025-03-17 cs.AI cs.LG
Accurate Discharge Coefficient Prediction of Streamlined Weirs by Coupling Linear Regression and Deep Convolutional Gated Recurrent Unit
Wenzhou University（温州大学）；Wenzhou Polytechnic（温州职业技术学院）；National Yunlin University of Science and Technology（云林科技大学）；Hong Kong Polytechnic University（香港理工大学）；Obuda University（奥布达大学）；Slovak University of Technology in Bratislava（斯洛伐克布拉迪斯拉发工业大学）
流线型堰是一种受自然启发的堰型，主要由于其具有高流量系数的既定性能而受到水利工程师的极大关注。计算流体动力学（CFD）被认为是一个强大的工具来预测流量系数。为了绕过基于CFD的评估的计算成本，本研究提出了数据驱动的建模技术，作为CFD模拟的替代方案，根据实验数据集预测流量系数。为此，在使用k折交叉验证技术分割数据集之后，对经典和混合机器学习深度学习（ML DL）算法进行性能评估。在ML技术中，研究了线性回归（LR）、随机森林（RF）、支持向量机（SVM）、k-最近邻（KNN）和决策树（DT）算法。在DL的上下文中，使用不同的误差度量来比较长短期记忆（LSTM）卷积神经网络（CNN）和门控递归单元（GRU）及其混合形式，例如LSTM GRU、CNN LSTM和CNN GRU技术。结果发现，所提出的三层分层DL算法由卷积层与两个后续的GRU级别耦合组成，该算法也与LR方法混合，导致较低的错误度量。本文为流线型堰的数据驱动建模奠定了基础。
2022-04-12 cs.LG
Amharic-Arabic Neural Machine Translation
Mangalore University（门格洛尔大学）
许多自动翻译作品已经解决了欧洲主要语言对之间，利用大规模的平行语料库，但很少有研究工作进行阿姆哈拉语-阿拉伯语对由于其并行数据的稀缺性。基于开放源代码的神经机器翻译（NMT）系统，采用基于注意力的编码器-解码器架构，开发了两种基于长短期记忆（LSTM）和门控递归单元（GRU）的NMT模型。为了进行实验，一个小的平行古兰经文本语料库的构建修改现有的单语阿拉伯语文本和其等效翻译的阿姆哈拉语文本语料库上坦齐勒。比较基于LSTM和GRU的NMT模型和Google翻译系统，发现基于LSTM的OpenNMT优于基于GRU的OpenNMT和Google翻译系统，BLEU得分分别为12%，11%和6%。
2019-12-26 cs.CL cs.LG
Remaining Useful Life Estimation for Turbofan Engines: A Comparative Study of Classical, CNN, and LSTM Approaches
Khoury College of Computer Science, Northeastern University（东北大学计算机科学学院）
本文比较了经典方法、CNN和LSTM在NASA C-MAPSS数据集上对涡轮风扇发动机剩余寿命估计的性能，发现LSTM在FD001和FD003上分别取得14.93和14.20的RMSE，优于其他方法。
2026-04-29 cs.LG
Orthogonal Gated Recurrent Unit with Neumann-Cayley Transformation
University of Kentucky（肯塔基大学）
近年来，使用正交矩阵已被证明是一种很有前途的方法，可以改善递归神经网络（RNN）的训练，稳定性和收敛性，特别是控制梯度。虽然门控递归单元（GRU）和长短期记忆（LSTM）架构通过使用各种门和存储单元来解决消失梯度问题，但它们仍然容易出现梯度爆炸问题。在这项工作中，我们分析了GRU中的梯度，并提出了使用正交矩阵来防止爆炸梯度问题和增强长期记忆。我们研究了在哪里使用正交矩阵，我们提出了一个基于Neumann级数的Scaled Cayley变换来训练GRU中的正交矩阵，我们称之为Neumann-Cayley Orthogonal GRU，或简称为NC-GRU。我们在几个合成和现实世界的任务上对我们的模型进行了详细的实验，结果表明NC-GRU的性能明显优于GRU和其他几个RNN。
2022-08-12 cs.LG
A Comparative Study of Pre-trained CNNs and GRU-Based Attention for Image Caption Generation
University of Science and Technology of China（中国科学技术大学）；College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院）
本文提出一种基于GRU注意力机制的图像字幕生成框架，使用预训练CNN编码器和GRU解码器，在MSCOCO和Flickr30k上取得有竞争力的结果。
2023-10-11 cs.CV cs.LG
Sequential Classification of Aviation Safety Occurrences with Natural Language Processing
University of New South Wales（新南威尔士大学）
本研究利用NLP和深度学习模型对航空安全事件文本进行分类，评估多种模型在NTSB数据集上的性能，准确率超87.9%，sRNN表现最优。
2025-01-11 cs.CL cs.LG
A Quantum Variational Approach to Prototypical Recurrent Unit
School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
该研究提出轻量级量子原型循环单元（QPRU），其参数远少于经典及量子循环单元，预测性能与最先进基准相当，兼具可扩展性提升和可训练参数减少的优势。
2026-09-07 cs.LG
Advancing Financial Risk Prediction Through Optimized LSTM Model Performance and Comparative Analysis
Columbia University（哥伦比亚大学）；Rutgers University（罗格斯大学）；University of Connecticut Business School（康涅狄格大学商学院）；Stevens Institute of Technological（史蒂文斯理工学院）
本文研究LSTM模型在金融风险预测中的优化与应用，通过超参数调优和实验调整网络参数提升性能，对比实验证明其在AUC指标上优于随机森林、BP神经网络和XGBoost，验证了处理复杂时间序列数据的效率与实用性。
2024-05-31 cs.AI cs.LG
Comparative Study of Bitcoin Price Prediction
University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
本研究对比LSTM和GRU神经网络模型在比特币价格预测中的表现，通过五折交叉验证和L2正则化优化模型，发现GRU模型（MSE=4.67）准确率优于LSTM（MSE=6.25），为金融时间序列预测提供参考。
2024-05-13 cs.LG q-fin.ST
Comparative Analysis of LSTM Neural Networks and Traditional Machine Learning Models for Predicting Diabetes Patient Readmission
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
本研究比较LSTM与多种传统机器学习模型在糖尿病再入院预测中的表现，发现LightGBM最优，并利用SHAP识别关键预测因素，强调模型选择与可解释性对医疗预测的重要性。
2024-06-28 cs.LG
A Hybrid Machine Learning Model for Classifying Gene Mutations in Cancer using LSTM, BiLSTM, CNN, GRU, and GloVe
Maharishi International University（玛赫西国际大学）；Luther College（路德学院）；Al-Balqa Applied University（巴尔卡应用大学）；Skyline University College（天际线大学学院）；Sultan Qaboos University（苏丹卡布斯大学）
本文提出融合 LSTM、BiLSTM、CNN、GRU 与 GloVe 的混合集成模型，用于癌症基因突变分类，并在 Kaggle 数据集上取得优于 transformer 及其集成的表现。
2024-05-20 cs.AI cs.CL cs.LG
MLP, XGBoost, KAN, TDNN, and LSTM-GRU Hybrid RNN with Attention for SPX and NDX European Call Option Pricing
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
本研究探讨了多种神经网络架构及XGBoost在SPX和NDX欧式看涨期权定价中的表现，发现带注意力机制的LSTM-GRU混合RNN模型优于BS基准及其他模型。
2024-10-14 cs.CE cs.LG q-fin.CP
RLBenchNet: The Right Network for the Right Reinforcement Learning Task
Deggendorf Institute of Technology（德格多夫技术学院）；Technical University of Munich（慕尼黑技术大学）
本研究系统评估了MLP、LSTM、Mamba系列、Transformer系列等多种网络架构在不同类型强化学习任务中的表现，明确了各类架构的适用场景与性能、效率差异，为强化学习领域的网络选型提供了参考依据。
2025-05-21 cs.LG
MC-GRU:a Multi-Channel GRU network for generalized nonlinear structural response prediction across structures
Southeast University（东南大学）；School of Civil Engineering, Southeast University（东南大学土木工程学院）
本文提出多通道GRU网络MC-GRU，通过在候选隐藏状态中引入结构信息，实现对不同结构广义非线性地震响应的准确预测，并在线性、滞回及钢筋混凝土柱等案例中验证了其优于GRU和LSTM的泛化能力。
2025-03-10 cs.LG
A Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models
Texas Tech University（德克萨斯理工大学）；Rutgers University（罗格斯大学）
存在几种数据驱动的方法，使我们能够对时间序列数据进行建模，包括传统的基于回归的建模方法（即，ARIMA）。最近，深度学习技术已经在时间序列分析和预测的背景下被引入和探索。要问的一个主要研究问题是深度学习技术的这些变体在预测时间序列数据时的性能。本文比较了两种主要的深度学习建模技术。比较了基于递归神经网络（RNN）的长短期记忆（LSTM）和基于卷积神经网络（CNN）的时间卷积网络（TCN），并报告了它们的性能和训练时间。根据我们的实验结果，这两种建模技术的性能都优于基于TCN的模型，略优于LSTM。此外，基于CNN的TCN模型比基于RNN的LSTM模型更快地建立稳定的模型。
2021-12-17 cs.LG cs.PF
Exploratory Analysis of Deep Learning Models for Forecasting Meteorological Parameters in the Agricultural Sector
Lodz Universtiy of Technlogy（罗兹工业大学）；MicroComputer Systems Laboratory（微计算机系统实验室）；University of Ioannina（约阿尼纳大学）
研究对深度学习架构进行比较评估，用于农业气象参数多变量预测，利用希腊约阿尼纳的观测数据，对比多种模型在24小时次日和168小时提前一周预测任务中的表现，发现混合模型在短期预测中更优且参数更少。
2026-07-14 cs.AI cs.LG
Recurrent Neural Networks for Forecasting Time Series with Multiple Seasonality: A Comparative Study
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文比较了具有不同类型门控单元的循环神经网络（RNN）对具有多个季节性的时间序列的预测。我们比较的细胞包括经典的长短期记忆（LSTM），门控递归单元（GRU），具有膨胀的修改的LSTM，以及我们最近提出的两个新细胞，它们配备了膨胀和注意力机制。为了对不同尺度的时间依赖性进行建模，我们的RNN架构具有多个膨胀的递归层，这些层堆叠有分层膨胀。建议的RNN产生点预测和预测区间（PI）。一项关于35个欧洲国家短期电力负荷预测的实证研究证实，具有扩张和注意力的新门控细胞表现最好。
2022-03-17 cs.LG
Auditing Finite-Lag Statistics of Recurrent Representations
University of Washington（华盛顿大学）
提出有限滞后算子几何，通过源-后继对估计条件传输律，导出传输张量和循环量，证明仿射协方差与分离性，揭示循环网络架构差异。
2026-10-14 cs.LG
Comparative Analysis of the Hidden Markov Model and LSTM: A Simulative Approach
UCLA University（加州大学洛杉矶分校）
时间序列和序列数据最近得到了极大的关注，因为许多现实世界中的各种领域，如金融，教育，生物和工程过程可以建模为时间序列。虽然许多算法和方法，如卡尔曼滤波器，隐马尔可夫模型和长短期记忆（LSTM）被提出来对数据进行推断和预测，但它们的使用在很大程度上取决于应用，问题类型，可用数据以及足够的准确性或损失。在本文中，我们比较了监督和无监督隐马尔可夫模型与LSTM在训练所需的数据量，复杂性和预测准确性方面的差异。此外，我们提出了各种技术来离散化的意见，并将问题转化为一个离散的隐马尔可夫模型在平稳和非平稳的情况下。我们的研究结果表明，当大量标记数据不可用时，即使是无监督的隐马尔可夫模型也可以优于LSTM。此外，我们表明，隐马尔可夫模型仍然可以是一个有效的方法来处理的序列数据，即使在一阶马尔可夫假设不满足。
2020-08-09 cs.LG stat.ML
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
Université de Montréal（蒙特利尔大学）
在本文中，我们比较了循环神经网络（RNN）中不同类型的递归单元。特别是，我们专注于实现门控机制的更复杂的单元，例如长短期记忆（LSTM）单元和最近提出的门控递归单元（GRU）。我们评估这些经常性单位的任务，复调音乐建模和语音信号建模。我们的实验表明，这些先进的经常性单位确实比更传统的经常性单位，如tanh单位。此外，我们发现GRU与LSTM相当。
2014-12-11 cs.LG cs.NE
Can recurrent neural networks warp time?
Laboratoire de Recherche en Informatique（计算机研究实验室）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）；Université Paris Sud（巴黎南大学）
成功的递归模型，如长短期记忆（LSTM）和门控递归单元（GRU）使用专门的门控机制。从经验上讲，这些模型已经被发现可以改善中长期时间依赖性的学习，并有助于解决梯度消失问题。我们证明了循环模型中的可学习门形式上对输入数据中的一般时间变换提供了准不变性。我们从一个简单的公理方法中恢复了部分LSTM架构。这一结果导致了一种新的方式初始化的栅极偏置在LSTM和GRU。实验表明，这种新的计时初始化大大提高了学习的长期依赖关系，以最小的实现工作。
2018-03-23 cs.LG cs.NE stat.ML
Minimal Gated Unit for Recurrent Neural Networks
Nanjing University（南京大学）
最近循环神经网络（RNN）在处理序列数据方面非常成功。然而，理解RNN并找到RNN的最佳实践是一项艰巨的任务，部分原因是存在许多竞争和复杂的隐藏单元（如LSTM和GRU）。我们提出了一种RNN的门单元，称为最小门单元（MGU），因为它只包含一个门，这是所有门隐藏单元中的最小设计。MGU的设计受益于文献中对LSTM和GRU的评估结果。在不同序列数据上的实验表明，MGU具有与GRU相当的准确性，但具有更简单的结构，更少的参数和更快的训练速度。因此，MGU适用于RNN的应用。它简单的架构也意味着它更容易评估和调整，原则上更容易从理论和经验上研究MGU的属性。
2016-03-31 cs.LG cs.NE
Predicting NVIDIA's Next-Day Stock Price: A Comparative Analysis of LSTM, MLP, ARIMA, and ARIMA-GARCH Models
Indiana University Bloomington（印第安纳大学伯明顿分校）；Baylor University（贝勒大学）；Northeastern University（东北大学）
本研究针对金融市场股价预测难题，选取AI领域核心企业NVIDIA为对象，将通过LSTM、MLP、ARIMA及ARIMA-GARCH模型的比较分析，开展次日股价预测研究。
2024-05-14 cs.LG econ.EM stat.AP
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Counting in Language with RNNs
在本文中，我们研究了LSTM在语言建模方面优于GRU的可能原因，更具体地说，是机器翻译。我们假设这与计数有关。这是RNN的长期依赖、计数和语言建模文献中一致的主题。使用简化形式的语言--上下文无关和上下文敏感语言--我们展示了LSTM在推理过程中如何根据它们的细胞状态精确地执行计数，以及为什么GRU不能执行。
2018-10-31 cs.LG cs.NE stat.ML
Unsupervised and Semi-supervised Anomaly Detection with LSTM Neural Networks
Bilkent University（比尔肯特大学）
我们研究了无监督框架中的异常检测，并介绍了基于长短期记忆（LSTM）神经网络的算法。特别是，给定可变长度的数据序列，我们首先将这些序列通过基于LSTM的结构，并获得固定长度的序列。然后，我们找到一个决策函数，我们的异常检测器的基础上一类支持向量机（OC-SVM）和支持向量数据描述（SVDD）算法。作为文献中的第一次，我们使用基于高效梯度和二次规划的训练方法联合训练和优化LSTM架构和OC-SVM（或SVDD）算法的参数。为了应用基于梯度的训练方法，我们修改了OC-SVM和SVDD算法的原始目标标准，其中我们证明了修改后的目标标准的收敛性。我们还提供了我们的无监督制定的半监督和全监督框架的扩展。因此，我们得到的异常检测算法，可以处理可变长度的数据序列，同时提供高性能，特别是时间序列数据。我们的方法是通用的，因此我们也将这种方法应用于门控递归单元（GRU）架构，直接将基于LSTM的结构替换为基于GRU的结构。在我们的实验中，我们说明了我们的算法相对于传统方法实现的显着性能提升。
2017-10-25 cs.LG eess.SP stat.ML
Classifying Process Instances Using Recurrent Neural Networks
Aalto University（阿尔托大学）；QPR Software Plc（QPR软件公司）；HIIT Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
流程挖掘包括将操作系统创建的日志转换为流程模型的技术。在流程挖掘工具中，通常期望能够对正在进行的流程实例进行分类，例如，预测该过程还需要多长时间才能完成，或者仅基于到目前为止在该过程实例中发生的活动将过程实例分类到不同的类。循环神经网络及其子类，如门控循环单元（GRU）和长短期记忆（LSTM），已被证明能够学习相关的时间特征，用于后续的分类任务。在本文中，我们采用循环神经网络分类过程实例。所提出的模型是训练在监督的方式使用标记的过程实例提取的事件日志跟踪。这是我们第一次知道GRU被用于对业务流程实例进行分类。我们的主要实验结果表明，GRU在训练时间上明显优于LSTM，同时给出了与LSTM模型几乎相同的精度。我们论文的其他贡献是通过过滤不频繁的活动来改善分类模型的训练时间，这是一种常用的技术，例如，自然语言处理（NLP）。
2018-09-16 cs.LG stat.ML
Comparative study of Transformer and LSTM Network with attention mechanism on Image Captioning
Dr.Vishwanath Karad MIT World Peace University（维什瓦纳特·卡拉德博士MIT世界和平大学）
在当前生成智能时代的全球化世界中，大多数体力劳动任务都是自动化的，效率更高。这可以帮助企业节省时间和金钱。生成智能的一个关键组成部分是视觉和语言的整合。因此，图像描述成为一个有趣的研究领域。研究人员曾多次尝试用不同的深度学习架构来解决这个问题，虽然准确率有所提高，但结果仍不达标。这项研究将Transformer和LSTM与MS-COCO数据集上的注意力块模型进行了比较，MS-COCO数据集是图像描述的标准数据集。对于这两个模型，我们使用预训练的Inception-V3 CNN编码器进行图像的特征提取。双语评价替补评分（BLEU）用于检查两个模型生成的字幕的准确性。随着Transformer和具有注意力块模型的LSTM，CLIP-扩散模型，M2-Transformer模型和X-线性注意力模型已经以最先进的精度进行了讨论。
2023-03-05 cs.CV cs.LG
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
