A comparative study of deep learning and ensemble learning to extend the horizon of traffic forecasting
The University of Melbourne（墨尔本大学）
本文比较了XGBoost和深度学习方法在长达30天的长期交通预测中的表现，发现随着预测视野延长，预测关键从时间依赖捕捉转向周期性建模，时间嵌入能有效提升模型性能。
2025-04-30 cs.AI cs.LG
Feedback-driven recurrent quantum neural network universality
School of Computer Science University of St. Gallen（圣加尔登大学计算机科学学院）；Donostia International Physics Center（多尼亚国际物理中心）；Department of Mathematics, Imperial College（帝国理工学院数学系）；School of Physical and Mathematical Sciences Nanyang Technological University（南洋理工大学物理与数学科学学院）
本文研究了基于反馈的量子递归神经网络的通用性，证明其能高效逼近常规系统，且量子比特数量随精度要求呈对数增长，具备实用性和实验可操作性。
2026-02-24 cs.LG quant-ph
ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting
Facebook；Czestochowa University of Technology（琴斯托霍瓦技术大学）
短期负荷预测是一个具有挑战性的问题，因为时间序列具有三种季节性模式和非线性趋势。本文提出了一种新的混合层次深度学习模型，该模型处理多个季节性，并产生点预测和预测区间（PI）。它结合了指数平滑（ES）和循环神经网络（RNN）。ES动态地提取每个单独TS的主要成分，并启用动态去季节化，这在相对较小的数据集上操作时特别有用。多层RNN配备了一种新型的扩张递归单元，旨在有效地对TS中的短期和长期依赖性进行建模。为了改进内部TS表示，从而提高模型的性能，RNN同时学习ES参数和将输入转换为预测的主映射函数。我们比较我们的方法与几个基线方法，包括经典的统计方法和机器学习（ML）的方法，对35个欧洲国家的STLF问题。实证研究清楚地表明，该模型具有较高的表达能力，解决非线性随机预测问题的TS包括多个季节性和显着的随机波动。事实上，它在准确性方面优于统计和最先进的ML模型。
2021-12-05 cs.LG cs.NE
A Comparative Study on Basic Elements of Deep Learning Models for Spatial-Temporal Traffic Forecasting
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
交通预测在智能交通系统中起着至关重要的作用。交通网络的时空复杂性使得该问题特别具有挑战性。最近提出的深度学习模型共享基本元素，例如图卷积、图注意力、递归单元和/或注意力机制。在这项研究中，我们设计了一个深入的比较研究四个深度神经网络模型，利用不同的基本元素。对于基本模型，从以前的文献中选择了一个基于RNN的模型和一个基于注意力的模型。然后，在模型中的空间特征提取层取代图卷积和图形注意。为了分析每个元素在各种环境中的性能，我们对四个真实世界的数据集进行了实验-高速公路速度，高速公路流量，来自同质道路连接网络的城市速度，以及来自异构道路连接网络的城市速度。结果表明，基于RNN的模型和基于注意力的模型在短期预测方面表现出相似的性能水平，而基于注意力的模型在长期预测方面优于RNN。图卷积和图注意力的选择在基于RNN的模型中产生了较大的差异。此外，我们的修改版本的GMAN显示与原来的性能具有更少的内存消耗。
2022-03-22 cs.LG stat.ML
Pre-trainable Reservoir Computing with Recursive Neural Gas
Università Degli Studi Di Pavia（帕维亚大学）；STMicroelectronics（意法半导体）
回声状态网络（ESN）是一类递归神经网络（RNN），由于其有效性，易用性和紧凑的硬件实现潜力而获得了极大的普及。ESN包含三个网络层输入、库和读出，其中库是真正的递归网络。ESN的输入层和储层被随机初始化，并且此后从不训练，并且ESN的训练仅应用于读出层。递归神经气体（RNG）的替代方案是可以在文献中找到的完全可训练的水库的许多建议之一。虽然RNG的性能有了一些改进，但据作者所知，没有实验比较结果与ESN已知的基准测试产生出色的结果。这项工作描述了一个准确的模型RNG连同一些扩展的模型在文献中，并显示比较结果三个众所周知的和公认的数据集。实验结果表明，在特定条件下，RNG基油藏可以取得较好的动态。
2018-07-25 cs.AI cs.LG stat.ML
A Comparative Study of Reservoir Computing for Temporal Signal Processing
University of New Mexico（新墨西哥大学）；Portland State University（波特兰州立大学）
储备池计算（RC）是一种利用递归神经网络进行时间序列预测的新方法。在RC中，输入信号扰动称为储层的介质的内在动力学。然后训练读出层以从储层的状态重建目标输出。众多的RC架构和评估指标对研究RC任务解决性能和计算能力的实践者和理论家都提出了挑战。此外，与传统的计算模型相比，水库是一个动态系统，其中计算和存储是不可分割的，因此很难分析。在这里，我们比较回声状态网络（ESN），一个流行的RC架构，抽头延迟线（DL）和非线性自回归外源（NARX）网络，我们用有限的计算和有限的内存分别建模系统。我们比较了三个系统的性能，同时计算三个常见的基准时间序列：H{é}non Map，NARMA 10和NARMA 20。我们发现，水库的作用，在储备池计算范例超越了提供一个记忆的过去的输入。DL和NARX网络具有更高的记忆能力，但缺乏ESN的泛化能力。
2014-01-10 cs.LG cs.NE
Correlation recurrent units: A novel neural architecture for improving the predictive performance of time-series data
Pusan National University（釜山国立大学）
针对时间序列分解方法无法学习分量间关系的问题，提出相关循环单元 (CRU) 架构，在神经单元内执行分解并学习分量相关性，使长短期预测性能提升超 10%。
2024-08-28 cs.AI cs.LG eess.SP
Traffic Volume Prediction using Memory-Based Recurrent Neural Networks: A comparative analysis of LSTM and GRU
University of Memphis（孟菲斯大学）
实时预测交通量可以改善交通流量和道路安全。精确的交通量预测有助于提醒驾驶员沿其首选路线的交通流量，防止潜在的僵局情况。现有的参数模型不能可靠地预测动态复杂交通条件下的交通量。因此，为了实时评估和预测每个给定时间步长的交通量，我们开发了基于非线性记忆的深度神经网络模型。我们在Metro Interstate Traffic Volume数据集上进行的大量实验证明了所提出的模型在高度动态和异构交通环境中预测交通量的有效性。
2023-03-22 cs.LG
Leveraging Energy Features for Surface Classification with Deep Learning: A Comparative Analysis Across Three Independent Datasets
研究评估能量特征作为表面分类的独立或辅助模态的可行性，在三个数据集上比较多种深度学习架构，发现CNN性能最优，纯能量特征准确率85-90%，与惯性特征结合可达96-99%，且能量特征可稳定提升1-2%准确率。
2026-06-18 cs.AI cs.LG cs.RO
GPU Memory Requirement Prediction for Deep Learning Task Based on Bidirectional Gated Recurrent Unit Optimization Transformer
Rice University（莱斯大学）；Duke University（杜克大学）
针对深度学习GPU内存预测难题，提出BiGRU优化Transformer模型，在MSE、RMSE等指标上优于决策树等基准方法，显著提升预测精度，助力资源调度。
2025-10-23 cs.AI cs.LG
Performance evaluation of deep neural networks for forecasting time-series with multiple structural breaks and high volatility
Birla Institute of Technology and Science Pilani（比拉理工学院与科学大学皮拉尼分校）
时间序列数据的自动和准确预测问题一直是机器学习和预测社区的一个有趣的挑战。现实世界中的大多数时间序列问题具有非平稳特性，这使得对趋势和季节性的理解变得困难。我们在这篇论文中的兴趣是研究流行的深度神经网络（DNN）作为非平稳TSF的函数逼近器的适用性。我们评估了以下DNN模型：多层感知器（MLP），卷积神经网络（CNN），具有长短期记忆的RNN（LSTM-RNN）和具有门控递归单元的RNN（GRU-RNN）。这些DNN方法已经在10个流行的印度金融股票数据中进行了评估。此外，这些DNN的性能评估已经在两种预测设置的多个独立运行中进行：（1）单步预测，和（2）多步预测。这些DNN方法在单步预测（提前一天预测）方面表现出令人信服的性能。对于多步预测（多天前预测），我们评估了不同预测期的方法。这些方法的性能表明，较长的预测期对性能有不利影响。
2020-07-25 cs.LG cs.NE stat.ML
Transformers vs. Recurrent Models for Estimating Forest Gross Primary Production
IEF, Leipzig University（莱比锡大学IEF）；iDiv；MPI PKS（马克斯·普朗克研究所）；IPL, Universitat de València（瓦伦西亚大学IPL）；Bioclimatology, University of Göttingen（哥廷根大学生物气候学系）；GEMA, Universidad de Medellín（梅迪纳大学GEMA）
针对森林总初级生产力估算问题，对比GPT-2与LSTM两种深度学习模型的多模态预测性能，明确二者的精度差异、适用场景及精度-效率权衡，为碳动态监测模型开发提供参考。
2025-11-14 cs.AI cs.CV cs.LG
StateFlow: Dual-State Recurrent Modeling for Long-Horizon Time Series Forecasting
Department of Computer Science, Illinois Institute of Technology, Chicago, IL, USA（伊利诺伊理工学院计算机科学系）；Department of Computer Science, Emory University, Atlanta, GA, USA（埃默里大学计算机科学系）
提出StateFlow框架，扩展VARNN为双状态循环骨干，结合隐藏状态轨迹和残差记忆轨迹，通过分块解码器和两阶段优化实现长时域多步预测，在基准上取得竞争性能。
2026-07-02 cs.LG
A Comparative Study of Rule Extraction for Recurrent Neural Networks
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
通过规则提取来理解递归网络有着悠久的历史。由于需要解释或验证神经网络，这已经引起了新的兴趣。表示有状态规则的一种基本形式是确定性有限自动机（DFA）。以往的研究表明，从训练好的二阶递归网络中提取DFA不仅是可能的，而且是相对稳定的。最近，几种新类型的递归网络与更复杂的架构已经推出。这些处理具有挑战性的学习任务，通常涉及序列数据。然而，它仍然是一个悬而未决的问题，是否可以充分地从这些模型中提取的DFA。具体来说，目前还不清楚当应用于在不同复杂程度的数据集上训练的不同递归网络时，DFA提取将受到什么影响。在这里，我们研究了几个被广泛采用的递归网络上的DFA提取，这些网络被训练来学习一组七个规则的Tomita文法。我们首先正式分析富田文法的复杂性，并根据复杂性对这些文法进行分类。然后，我们实证评估不同的递归网络的DFA提取的所有富田文法的性能。我们的实验表明，对于大多数递归网络，其提取性能随着底层语法复杂度的增加而降低。在较低复杂度的文法上，大多数递归网络获得了理想的提取性能。对于复杂度最高的语法，几个复杂的模型都失败了，只有某些递归网络具有令人满意的提取性能。
2018-11-14 cs.CL cs.LG
A Review of the Long Horizon Forecasting Problem in Time Series Analysis
CSE Department, Shiv Nadar University Chennai（谢赫纳德大学计算机科学与工程系）
本文综述了时间序列中长期预测问题，总结了深度学习在特征构建、分解和窗口化方面的进展，并通过ETTm2数据集上的消融实验揭示了误差传播特性。
2026-09-09 cs.ET cs.LG cs.PF
Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions
Monash University（莫纳什大学）
循环神经网络（RNN）已经成为有竞争力的预测方法，最值得注意的是最近的M4竞赛的获胜方法。然而，ETS和ARIMA等已建立的统计模型不仅因其高准确性而受到欢迎，而且还因其强大，高效和自动化而适用于非专家用户。在这些领域，RNN还有很长的路要走。我们提出了一个广泛的实证研究和现有的RNN预测架构的开源软件框架，使我们能够制定指导方针和最佳实践。例如，我们得出结论，如果数据集中的序列具有均匀的季节模式，则RNN能够直接对季节性进行建模，否则我们建议进行去季节化步骤。与ETS和ARIMA的比较表明，实现的（半）自动RNN模型不是银弹，但在许多情况下它们是有竞争力的替代品。
2020-12-23 cs.LG cs.NE stat.ML
Language models and Automated Essay Scoring
在本文中，我们提出了一个新的比较研究自动作文评分（AES）。在这项工作中使用了当前最先进的自然语言处理（NLP）神经网络架构，以在公开可用的Kaggle AES数据集上实现高于人类水平的准确性。我们比较了两个强大的语言模型，BERT和XLNet，并描述了这些模型中的所有层和网络架构。我们使用清晰的符号和图表阐明了BERT和XLNet的网络架构，并解释了Transformer架构相对于传统递归神经网络架构的优势。线性代数符号用于阐明Transformers和注意力机制的功能。我们将结果与更传统的方法进行了比较，例如词袋（BOW）和长短期记忆（LSTM）网络。
2019-09-18 cs.CL cs.LG stat.ML
An integrated recurrent neural network and regression model with spatial and climatic couplings for vector-borne disease dynamics
UC Irvine（加州大学尔湾分校）
我们开发了一个集成的循环神经网络和非线性回归时空模型的媒介传播疾病的演变。我们将气候数据和季节性作为与疾病传播昆虫（例如苍蝇）相关的外部因素，以及来自感兴趣区域周围邻近地区的溢出感染。气候数据通过推荐系统激励的二次嵌入方案编码到模型中。相邻区域的影响由一个长短期记忆神经网络来模拟。综合模型通过随机梯度下降进行训练，并在斯里兰卡2013-2018年发生感染暴发的利什曼病数据上进行测试。我们的模型在许多高感染地区的表现优于ARIMA模型，相关的消融研究支持我们的建模假设和想法。
2022-01-23 cs.LG cs.NA math.NA
Introducing Hybrid Modeling with Time-series-Transformers: A Comparative Study of Series and Parallel Approach in Batch Crystallization
Texas A&M University（德克萨斯农工大学）
本文首次将基于时间序列Transformer的混合建模框架应用于批结晶过程，通过比较串联与并联两种配置，实现了NMSE低至10⁻³量级、R²超过0.99的高精度预测，为化学制造数字孪生提供了更准确且可解释的方案。
2023-07-25 cs.LG cs.SY eess.SY
Industrial Forecasting with Exponentially Smoothed Recurrent Neural Networks
Illinois Institute of Technology（伊利诺伊理工学院）
时间序列建模已经进入了一个数据规模和复杂性空前增长的时代，这需要新的建模方法。虽然出现了许多新的通用机器学习方法，但它们仍然难以理解，并且与更传统的统计建模方法不可调和。我们提出了一类指数平滑循环神经网络（RNN），非常适合于建模非平稳动态系统中出现的工业应用。特别是，我们分析他们的能力，以表征非线性偏自相关结构的时间序列，并直接捕捉动态的影响，如季节性和趋势。指数平滑RNN预测电力负荷，天气数据和股票价格的应用突出了指数平滑隐藏状态的多步时间序列预测的有效性。研究结果还表明，流行的，但更复杂的神经网络架构最初是为语音处理设计的，如LSTM和GRU，可能被过度设计用于工业预测和轻量级指数平滑架构，在一小部分时间内训练，捕捉显著特征，同时比简单的RNN和ARIMA模型更优越，更强大。此外，不确定性量化的指数平滑循环神经网络，贝叶斯估计，提供了更好的覆盖。
2020-10-30 cs.LG stat.ML
Neural Networks with LSTM and GRU in Modeling Active Fires in the Amazon
Universidade Estadual da Paraíba（帕拉伊巴州立大学）
本研究针对巴西亚马逊地区AQUA_M-T卫星探测的活跃火点时间序列，提出结合LSTM和GRU的混合RNN预测模型，经双种子交叉验证验证其能有效捕捉季节性并实现优异预测性能，为环境监测及自然现象预测的深度学习应用提供新方向。
2024-11-01 cs.AI cs.LG stat.AP
Beyond Weather Correlation: A Comparative Study of Static and Temporal Neural Architectures for Fine-Grained Residential Energy Consumption Forecasting in Melbourne, Australia
School of Computing and Information Technology（计算与信息科技学院）
本文比较了MLP和LSTM在墨尔本住宅能源消耗预测中的表现，发现时间自相关性在5分钟粒度下优于静态气象特征，且太阳能发电引入了非对称影响。
2026-04-14 cs.LG cs.SY eess.SY
TSAM: Temporal Link Prediction in Directed Networks based on Self-Attention Mechanism
PLA Strategic Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
图神经网络（GCN）的发展使得从演化的复杂网络中学习结构特征成为可能。尽管现实网络中有很多是有向网络，但现有的研究很少涉及有向网络和时态网络的性质。本文针对有向网络中的时间链接预测问题，提出了一种基于GCN和自注意力机制的深度学习模型TSAM。该模型采用自动编码器架构，利用图注意层来捕获邻域节点的结构特征，以及一组图卷积层来捕获模体特征。利用具有自注意力的图递归单元层来学习快照序列中的时间变化。我们在四个真实网络上进行了对比实验，以验证TSAM的有效性。实验结果表明，TSAM优于大多数基准在两个评价指标。
2020-08-23 cs.LG cs.SI stat.ML
RSM-GAN: A Convolutional Recurrent GAN for Anomaly Detection in Contaminated Seasonal Multivariate Time Series
North Carolina State University（北卡罗来纳州立大学）；Intuit Inc.（财捷公司）
强大的异常检测是监控复杂的现代系统的一项要求，这些系统具有网络安全、欺诈预防和维护等应用。这些系统生成多个相关的时间序列，这些时间序列具有高度的季节性和噪声。本文提出了一种用于多变量时间序列异常检测的新型无监督深度学习架构，称为鲁棒季节性多变量生成对抗网络（RSM-GAN）。它扩展了GANs的最新进展，采用了卷积LSTM层和注意力机制来产生最先进的性能。我们进行了大量的实验，以证明我们的架构在调整复杂的季节性模式和处理严重的训练数据污染水平的实力。我们还提出了一个新的异常分数分配和因果推理框架。我们将RSM-GAN与现有的经典和基于深度学习的异常检测模型进行了比较，结果表明，我们的架构具有最低的误报率，并且在真实世界和合成数据中分别将精度提高了30%和16%。此外，我们报告了RSM-GAN在所有数据设置中准确识别根本原因和NAB评分方面的优越性。
2019-11-16 cs.LG stat.ML
Forecasting Energy Consumption using Recurrent Neural Networks: A Comparative Analysis
Centre for Development of Advanced Computing (C-DAC)（高级计算发展中心）
本文提出基于LSTM的能源消耗预测方法，通过整合历史数据与外部变量，显著提升了预测精度，优于传统神经网络基线。
2026-01-23 cs.AI cs.CY cs.LG
Accuracy, Memory Efficiency and Generalization: A Comparative Study on Liquid Neural Networks and Recurrent Neural Networks
本文比较液态神经网络与传统循环神经网络及其变体，从精度、内存效率和泛化能力三维度分析，发现LNN在处理噪声数据及OOD泛化上有优势，但RNN仍为序列建模基石，未来需提升LNN可扩展性。
2025-10-08 cs.AI cs.LG cs.SY
Deep Sequence Modeling for Anomalous ISP Traffic Prediction
University of Western Ontario（西安大略大学）；Juniper Networks（瞻博网络）
现实世界中的互联网流量容易受到各种外部和内部因素的影响，这些因素可能会突然改变正常的流量。这些意外的变化被认为是流量中的异常值。然而，深度序列模型已被用于预测复杂的IP流量，但它们对异常流量的比较性能尚未得到广泛研究。在本文中，我们研究和评估不同的深度序列模型的异常流量预测的性能。实现了几种深度序列模型来预测不含和含异常值的真实流量，并显示了异常值检测在真实流量预测中的重要性。首先，两种不同的离群值检测技术，如三西格玛规则和隔离森林，被用来识别异常。其次，在训练模型之前，我们使用反向填充技术调整了这些异常数据点。最后，不同的模型的性能进行了比较，异常和调整流量。LSTM_Encoder_Decoder（LSTM_En_De）是我们实验中最好的预测模型，在调整离群值后，实际流量和预测流量之间的偏差减少了11%以上。所有其他模型，包括递归神经网络（RNN）、长短期记忆（LSTM）、带注意力层的LSTM_En_De（LSTM_En_De_Atn）、门控递归单元（GRU），在替换离群值后显示出更好的预测，预测误差分别降低了29%、24%、19%和10%以上。我们的实验结果表明，数据中的离群值可以显着影响预测的质量。因此，离群值检测和缓解有助于深度序列模型学习总体趋势并做出更好的预测。
2022-05-03 cs.LG cs.NI eess.SP
Comparative Analysis of Machine Learning Models for Predicting Travel Time
University of Missouri, Columbia（密苏里大学哥伦比亚分校）；NDSU（北达科他州立大学）
本文比较了五种不同的深度学习模型来预测行程时间。这些模型包括自回归积分滑动平均（ARIMA）模型、递归神经网络（RNN）模型、自回归（AR）模型、长短期记忆（LSTM）模型和门控递归单元（GRU）模型。本研究的目的是调查每个开发的模型预测旅行时间的性能。本文使用的数据集由密苏里州的旅行时间和旅行速度信息组成。用于构建每个模型的学习率在0.0001-0.01之间变化。发现最佳学习率为0.001。研究得出结论，ARIMA模型是行程时间预测和预报的最佳模型架构。
2021-11-16 cs.CV cs.LG
Dynamic and Context-Dependent Stock Price Prediction Using Attention Modules and News Sentiment
impactvise AG（impactvise股份公司）
金融领域机器可读数据的增长，如替代数据，需要新的建模技术来处理非静态和非参数数据。由于潜在的因果依赖性和数据的规模和复杂性，我们提出了一种新的金融时间序列数据建模方法，$α_{t}$ -RIM（循环独立机制）。该架构利用键-值注意力，以上下文相关的动态方式集成自顶向下和自底向上的信息。为了以这种动态方式对数据进行建模，$α_{t}$ -RIM利用指数平滑的递归神经网络，该网络可以对非平稳时间序列数据进行建模，并结合模块化和独立的递归结构。我们将我们的方法应用于标准普尔500指数中三只精选股票的收盘价以及它们的新闻情绪得分。结果表明，$α_{t}$ -RIM能够反映股价与新闻情绪之间的因果结构，以及季节性和趋势。因此，这种建模方法显着提高了泛化性能，即对未知数据的预测，并优于最先进的网络，如长短期记忆模型。
2022-03-13 cs.LG q-fin.CP
A Comparative Study of Convolutional and Recurrent Neural Networks for Storm Surge Prediction in Tampa Bay
Old Dominion University（奥多明尼昂大学）
针对坦帕湾风暴潮预测问题，对比CNN-LSTM、LSTM、3D-CNN三种深度学习架构的性能，发现CNN-LSTM整体及极端场景下表现最优，为风暴潮代理建模的模型选型提供参考。
2026-10-28 cs.LG physics.ao-ph
Localization of Impacts on Thin-Walled Structures by Recurrent Neural Networks: End-to-end Learning from Real-World Data
Institute of Technical Mechanics, Johannes Kepler University Linz, Austria e-mail: Linz Center of Mechatronics GmbH, Linz, Austria e-mail: Institut Sup\' e rieur de M\' e canique de Paris, Saint Ouen, France Universit\' e de Technologie de Compi\` e gne, Roberval, Compi\` e gne, France e-mail
本文提出基于门控循环单元（GRU）的循环神经网络，从真实实验数据端到端学习，实现薄壁结构冲击定位，在较小数据集上达到高精度。
2025-08-04 cs.LG
Recurrent Neural Networks for Modelling Gross Primary Production
Leipzig University（莱比锡大学）；iDiv（德国生物多样性综合研究中心）；UFZ（亥姆霍兹环境研究中心）；Universitat de València（瓦伦西亚大学）；University of Göttingen（哥廷根大学）；Universidad de Medellín（麦德林大学）
本研究比较了RNNs、GRUs和LSTMs三种循环神经网络架构在估算每日总初级生产（GPP）中的表现，发现LSTMs在预测气候引起的GPP极端情况时更优，并强调了结合辐射和遥感输入对准确预测的重要性。
2024-04-19 cs.LG
Sustainable Greenhouse Microclimate Modeling: A Comparative Analysis of Recurrent and Graph Neural Networks
Department of Enterprise Engineering, University of Rome Tor Vergata, Via del Politecnico 1, 00133, Rome, Italy（罗马Tor Vergata大学企业工程系）；Department of Mathematics and Physics, Roma Tre University, Via della Vasca Navale 84, 00146, Rome, Italy（罗马Tre大学数学与物理系）；Department of Agrotechnology, University of Thessaly, 41500 Larissa, Greece（希腊塔拉斯大学农业技术系）；Lab of Agricultural Constructions and Environmental Control, Department of Agriculture Crop Production and Rural Environment, University of Thessaly, Fytokou Str, 38446, Volos, Greece（塔拉斯大学农业建筑与环境控制实验室）
本研究比较了循环神经网络与有向时空图神经网络在温室微气候建模中的表现，发现随着变量交互复杂性增加，显式建模方向性依赖关系的图模型更优，为农业光伏温室数字孪生奠定基础。
2025-06-19 cs.LG stat.AP
Technical Comparative Benchmarking Study: Advanced AI Hybrid Methods for Renewable Energy Farm Optimization and Forecasting
本研究对比多种AI方法，在三类风电场数据集上测试后发现，不同架构各有优势，RF BiLSTM混合模型获最佳预测精度。
2026-08-28 cs.LG
A comparative study of transformer models and recurrent neural networks for path-dependent composite materials
Department of Physics, University of Gothenburg（物理系，哥德堡大学）
本研究比较了变压器模型与循环神经网络在路径依赖复合材料建模中的性能，发现RNN在小数据集和外推任务中表现更优，而变压器模型在推理速度上更快。
2026-02-17 cond-mat.mtrl-sci cs.LG physics.comp-ph
From phonemes to images: levels of representation in a recurrent neural model of visually-grounded language learning
Tilburg University（蒂尔堡大学）
我们提出了一种基于堆叠门控递归神经网络的视觉接地语言学习模型，该网络学习预测以音素序列形式给出的图像描述的视觉特征。学习任务类似于人类语言学习者所面临的，他们需要从各种模态的嘈杂和模糊的数据中发现结构和意义。我们表明，我们的模型确实学会了预测语音转录图像描述的视觉上下文的功能，并表明它代表语言信息的层次结构：堆栈中的较低层相对更敏感的形式，而更高的层更敏感的意义。
2016-10-11 cs.CL cs.LG
Recurrent Joint Embedding Predictive Architecture with Recurrent Forward Propagation Learning
The City College of New York（纽约城市学院）；Biomedical Engineering Department（生物医学工程系）
针对传统视觉模型依赖深度前馈网络和大量标注数据的问题，本研究受生物视觉启发提出结合递归门控电路的联合嵌入预测架构，通过递归前向传播算法实现自监督学习，从理论和实证上证明其避免表示崩溃且学习高效。
2024-11-10 cs.LG cs.NE
An LSTM-Based Dynamic Customer Model for Fashion Recommendation
Zalando Research（Zalando 研究院）
在线时装销售为个性化推荐提供了一个具有挑战性的用例：商店提供多种尺寸的各种商品。小库存，高回报率，季节性和不断变化的趋势导致所有时间尺度上的持续营业额。顾客往往很少购物，但经常一次购买多件商品。我们报告了欧洲领先的在线时尚平台Zalando的10万频繁购物者的销售数据的回测实验。为了模拟不断变化的客户和商店环境，我们的推荐方法采用了一对神经网络：为了克服冷启动问题，前馈网络在“时尚空间”中生成文章嵌入，作为递归神经网络的输入，递归神经网络根据客户过去的购买顺序为每个客户预测该空间中的风格向量。我们将我们的结果与静态协同过滤方法和流行度排名基线进行比较。
2017-08-24 cs.IR cs.LG
Radar Emitter Classification with Attribute-specific Recurrent Neural Networks
Technical University of Munich（慕尼黑工业大学）；Airbus Defence and Space（空中客车防务与航天公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
雷达脉冲流显示出越来越复杂的时间模式，不能再依靠纯粹基于数值的脉冲属性分析来进行辐射源分类。在本文中，我们采用递归神经网络（RNN）来有效地建模和利用脉冲流内部的时间依赖性。为了提高网络的预测能力，我们引入了两种新的技术：一种是序列归一化，能够挖掘有用的时间模式;另一种是特定属性的RNN处理，能够有效地处理提取的信息。通过消融研究对新技术进行评估，并将提出的解决方案与之前的深度学习（DL）方法进行比较。最后，对相同方法的鲁棒性进行了比较研究，并给出了结果。
2019-11-19 cs.LG eess.SP
How Good Are Time-Series Foundation Models for Pedestrian Crowd Count Forecasting? A Cross-Dataset Comparative Study
Delft University of Technology（代尔夫特理工大学）
本研究通过跨数据集比较七种预测方法，评估时间序列基础模型在行人计数预测中的表现，发现模型选择需依据数据条件和预测视界，基础模型在数据丰富且季节性强的场景下优势明显。
2026-09-16 cs.AI cs.LG
Visualizing and Understanding Recurrent Networks
Stanford University（斯坦福大学）
循环神经网络（RNN），特别是具有长短期记忆（LSTM）的变体，由于在涉及序列数据的广泛机器学习问题中的成功应用而重新受到关注。然而，尽管长期短期措施在实践中取得了非凡的成果，但人们对其性能的来源及其局限性仍然知之甚少。使用字符级语言模型作为可解释的测试平台，我们的目标是通过分析它们的表示，预测和错误类型来弥合这一差距。特别是，我们的实验揭示了可解释的细胞的存在，跟踪长范围的依赖关系，如行的长度，引号和括号。此外，我们与有限水平n-gram模型的比较分析将LSTM改进的来源追溯到了长程结构依赖关系。最后，我们分析了剩余的错误，并提出了进一步研究的领域。
2015-11-17 cs.CL cs.LG cs.NE
Sequential Convolutional Recurrent Neural Networks for Fast Automatic Modulation Classification
Science and Technology on Electronic Information Control Laboratory（电子信息控制科技实验室）
针对无线频谱监测应用，提出了一种新型高效的自动调制分类端到端学习模型，该模型能够从时域同相和正交数据中自动学习，无需手工设计专家特征。利用卷积层的直觉，池化作为前端特征提取和降维的作用，开发了顺序卷积递归神经网络，以利用卷积神经网络的并行计算能力和递归神经网络的时间敏感性。实验结果表明，该结构在信噪比大于-10 dB的范围内具有较好的分类性能，在高信噪比范围内，分类准确率从80%提高到92.1%，同时平均训练时间和预测时间分别减少了约74%和67%.通过所提出的架构学习的响应模式被可视化，以更好地理解模型的物理特性。此外，进行了比较研究，以调查各种顺序卷积递归神经网络结构设置对分类性能的影响。一个具有代表性的顺序卷积递归神经网络架构的两层卷积神经网络和随后的两层长短期记忆神经网络的开发建议的选择快速自动调制分类。
2021-01-20 cs.LG eess.SP
Simplified Long Short-term Memory Recurrent Neural Networks: part I
Michigan State University（密歇根州立大学）
我们提出了标准长短期记忆（LSTM）循环神经网络的五种变体，通过均匀减少门控机制中的自适应参数块。为简单起见，我们将这些模型分别称为LSTM 1、LSTM 2、LSTM 3、LSTM 4和LSTM 5。这种参数减少的变体能够加速数据训练计算，并且更适合在受限的嵌入式平台上实现。我们在经典MNIST数据集上比较评估和验证了我们的五个变体模型，并证明这些变体模型与LSTM模型的标准实现相当，同时使用较少的参数。此外，我们观察到，在某些情况下，当使用ReLU非线性时，标准LSTM的准确性性能将在多个时期后下降;然而，相比之下，LSTM 3，LSTM 4和LSTM 5将保持其性能。
2017-07-14 cs.LG cs.NE
A Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models
Texas Tech University（德克萨斯理工大学）；Rutgers University（罗格斯大学）
存在几种数据驱动的方法，使我们能够对时间序列数据进行建模，包括传统的基于回归的建模方法（即，ARIMA）。最近，深度学习技术已经在时间序列分析和预测的背景下被引入和探索。要问的一个主要研究问题是深度学习技术的这些变体在预测时间序列数据时的性能。本文比较了两种主要的深度学习建模技术。比较了基于递归神经网络（RNN）的长短期记忆（LSTM）和基于卷积神经网络（CNN）的时间卷积网络（TCN），并报告了它们的性能和训练时间。根据我们的实验结果，这两种建模技术的性能都优于基于TCN的模型，略优于LSTM。此外，基于CNN的TCN模型比基于RNN的LSTM模型更快地建立稳定的模型。
2021-12-17 cs.LG cs.PF
Transfer Learning on Transformers for Building Energy Consumption Forecasting -- A Comparative Study
Massey University（梅西大学）；School of Mathematical and Computational Sciences（数学与计算科学学院）；School of Built Environment（建筑环境学院）
本研究系统比较了六种以数据为中心的迁移学习策略在Transformer架构上的建筑能耗预测效果，发现PatchTST性能最优，且策略选择需依据特征空间属性。
2024-11-21 cs.LG
Representation of linguistic form and function in recurrent neural networks
我们提出了从语言学角度分析RNN激活模式的新方法，并探索了它们学习的语言结构类型。作为一个案例研究，我们使用多任务门控递归网络架构，由两个并行的路径与共享的词嵌入训练预测的视觉场景的表示对应于输入的句子，并预测下一个词在同一个句子。基于我们提出的方法来估计输入中单个令牌对网络最终预测的贡献量，我们表明图像预测路径：a）对句子的信息结构敏感b）有选择地注意携带语义信息的词汇类别和语法功能c）学习根据其在句子中的语法功能来不同地对待相同的输入标记。相比之下，语言模型对具有句法功能的词相对更敏感。此外，我们还提出了一些方法来探索RNN中各个隐藏单元的功能，并表明我们案例研究中的架构的两条路径包含专门的单元，这些单元被调整到为任务提供信息的模式，其中一些可以将激活携带到稍后的时间步以编码长期依赖性。
2016-06-08 cs.CL cs.LG
Using stigmergy as a computational memory in the design of recurrent neural networks
University of Pisa（比萨大学）
本文设计并实现了一种新的递归神经网络结构。建议的RNN采用了基于stigmergy概念的计算内存。Stigmergic Memory（SM）的基本原理是，SM中的一个量的沉积/移除活动刺激下一个沉积/移除活动。相应地，随后的SM活动倾向于相互加强/削弱，从而在SM活动和输入的时间刺激之间产生连贯的协调。我们发现，在监督分类的问题，SM编码的时间输入在一个紧急的代表性模型，通过协调存款，清除和分类活动。本研究为SM-RNN的推导奠定了基本框架。讨论了SM的形式化本体，并详细介绍了SM-RNN的体系结构。为了了解SM-RNN的计算能力，选择并训练了比较NN，以解决MNIST手写数字识别基准的两个变体：空间（位图行序列）和时间（笔划序列）。
2019-01-09 cs.LG cs.NE stat.ML
Modeling Long Sequences in Bladder Cancer Recurrence: A Comparative Evaluation of LSTM,Transformer,and Mamba
Xinjiang University（新疆大学）
本研究比较LSTM、Transformer和Mamba三种长序列模型结合Cox模型分析膀胱癌复发数据，发现LSTM-Cox模型预测性能最佳（C指数达0.90），能有效识别复发风险因素并区分高低风险患者，为临床风险预测提供实用方案。
2024-07-19 cs.LG stat.ME stat.ML
Churn Prediction with Sequential Data and Deep Neural Networks. A Comparative Analysis
Humboldt University of Berlin（柏林洪堡大学）；IÉSEG School of Management（埃塞克高等商学院）；Audencia Business School（南特高等商学院）
用于预测的现成机器学习算法（诸如正则化逻辑斯谛回归）在没有预先使用这种顺序数据的聚合过程的情况下不能利用时变特征的信息。然而，递归神经网络提供了一种替代方法，通过该方法，时变特征可以容易地用于建模。本文评估了神经网络的性能流失建模使用近，频率和货币价值的数据，从金融服务提供商。结果表明，RFM变量与LSTM神经网络相结合，比具有常用人口统计变量的正则化逻辑斯谛回归模型具有更大的前十分位提升和预期最大利润指标。此外，我们表明，使用LSTM的拟合概率作为逻辑斯谛回归的特征，与仅具有静态特征的模型相比，后者的样本外性能提高了25%。
2019-09-24 cs.LG stat.AP stat.ML
Demand Forecasting from Spatiotemporal Data with Graph Networks and Temporal-Guided Embedding
POSTECH（浦项科技大学）；Statice GmbH（Statice有限公司）；Kakao Brain；Kakao Mobility
短期需求预测模型通常结合卷积层和递归层来提取数据中复杂的时空模式。长期历史也被用来考虑作为时间序列数据的周期性和季节性模式。在本研究中，我们提出了一种高效的架构，即时间引导网络（TGNet），它利用图网络和时间引导嵌入。图网络将不变特征提取到相邻区域的排列中，而不是卷积层。时间引导的嵌入从训练数据中显式地学习时间上下文，并替换来自数天/数周前的长期历史的输入。TGNet学习自回归模型，该模型以时间引导嵌入的预测目标的时间背景为条件。最后，我们的模型在来自现实世界的三个时空需求数据集上实现了与其他基线竞争的性能，但可训练参数的数量比最先进的基线小约20倍。我们还表明，时间引导嵌入学习时间上下文的预期和TGNet具有强大的预测性能，即使是非典型事件的情况。
2019-10-07 cs.LG stat.ML
Music Tempo Estimation via Neural Networks -- A Comparative Analysis
Universidade Federal do Estado do Rio de Janeiro（里约热内卢联邦大学）；Sorbonne Université（索邦大学）
本文提出了一个比较分析的两个人工神经网络（具有不同的结构）的节奏估计任务。为此，它还提出了B-RNN（双向递归神经网络）模型的建模，训练和评估，该模型能够在不使用外部辅助模块的情况下估计音乐作品的bpm（每分钟节拍）节奏。一个广泛的数据库（共12，550件）被策展，对实验进行定量和定性分析。仅打击乐曲目也包括在数据集中。将B-RNN的性能与最先进的模型进行比较。为了进一步比较，还使用用于B-RNN训练的相同数据集重新训练了最先进的CNN。每个模型和数据集的评估结果，以及未来研究的意见和想法。节奏估计对于仅打击乐器数据集更准确，这表明估计对于仅打击乐器音轨可以更准确，尽管应该进行进一步的实验（使用更多这样的数据集）以收集更有力的证据。
2021-07-20 cs.LG cs.SD eess.AS
A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU
Faculty of Computer Science and Information Technology, University Putra Malaysia (UPM)（马来西亚博特拉大学计算机科学与信息技术学院）
本文综述多类深度学习模型的结构、应用、优势与局限，并基于IMDB、ARAS和Fruit-360数据集比较RNN系列、TCN、Transformer及多种CNN模型的性能。
2025-03-17 cs.AI cs.LG
Comparative Analysis of Predicting Subsequent Steps in Hénon Map
School of Digital Sciences, Digital University Kerala（喀拉拉邦数字大学数字科学学院）；SUPA, School of Physics and Astronomy, The University of Edinburgh（爱丁堡大学SUPA物理与天文学院）
本文比较多种机器学习模型预测Hénon映射后续步骤的性能，发现LSTM在极端事件预测及长预测范围和大数据集上表现最优，凸显了模型选择与数据规模的重要性。
2024-05-23 cs.LG nlin.CD
Music Artist Classification with Convolutional Recurrent Neural Networks
University of Toronto（多伦多大学）
音乐艺术家分类的先前尝试使用在短时间间隔内概括频率内容的帧级音频特征。相比之下，最近的音乐信息检索任务使用深度卷积和递归模型来利用音频频谱图中的时间结构。本文重新审视艺术家分类与这个新的框架和实证研究的影响，将时间结构的特征表示。为此，一个既定的分类架构，卷积递归神经网络（CRNN），适用于艺术家20音乐艺术家识别数据集下的一组全面的条件。其中包括音频剪辑长度，这是这项工作中的一个新贡献，以及先前确定的考虑因素，如数据集分割和特征级别。我们的研究结果改进了基线工作，验证了生产者效应对分类性能的影响，并展示了音频长度和训练集大小之间的权衡。在三项独立试验中，表现最好的模型的平均F1评分为0.937，这是在类似条件下相对于相应基线的实质性改善。此外，为了展示CRNN的特征提取能力的有效性，我们在模型的瓶颈层可视化音频样本，证明学习的表示分割成属于各自艺术家的集群。
2019-03-14 cs.LG cs.MM cs.SD
