Tensor-Train Recurrent Neural Networks for Interpretable Multi-Way Financial Forecasting
Imperial College London(帝国理工学院)
循环神经网络(RNN)代表了序列建模的事实标准机器学习工具,这是由于它们的表达能力和记忆。然而,当处理大维度数据时,相应的参数数量的指数增加会造成计算瓶颈。需要让RNN具备处理维数灾难的能力,例如通过张量固有的参数压缩能力,这导致了Tensor-Train RNN(TT-RNN)的发展。尽管在许多应用中取得了令人鼓舞的结果,但TT-RNN的全部潜力还有待于在可解释的金融建模中进行探索,这是一项以低信噪比的多模态数据为特征的具有挑战性的任务。为了解决这个问题,我们研究了TT-RNN在货币金融预测任务中的潜力。通过对TT因子的分析,我们表明,张量分解背后的物理意义使TT-RNN模型能够帮助结果的可解释性,从而减轻了与神经网络相关的臭名昭著的“黑箱”问题。此外,仿真结果突出了TT分解的正则化能力,证明了TT-RNN优于未压缩RNN和其他张量预测方法的性能。
2021-05-11 cs.LG
Fast ES-RNN: A GPU Implementation of the ES-RNN Algorithm
Carnegie Mellon University(卡内基梅隆大学)
由于其普遍性,时间序列预测在多个领域中至关重要。我们力求使国家的最先进的预测快速,可访问和推广。ES-RNN是经典状态空间预测模型和现代RNN的混合,在M4竞赛中实现了9.4%的sMAPE改进。至关重要的是,ES-RNN的实现需要每个时间序列的参数。通过对原始实现进行矢量化并将算法移植到GPU上,我们根据批量大小实现了高达322倍的训练加速,结果与原始提交中报告的结果相似。我们的代码可以在https://github.com/damitkwr/ESRNN-GPU上找到
2019-07-07 cs.LG stat.ML
SegRNN: Segment Recurrent Neural Network for Long-Term Time Series Forecasting
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室)
针对RNN在长期时间序列预测中因迭代次数多受限的问题,提出结合分段迭代与并行多步预测的SegRNN,在精度、速度和内存上均优于主流SOTA模型,证明RNN仍具该领域优势。
2023-08-22 cs.LG
SKOLR: Structured Koopman Operator Linear RNN for Time-Series Forecasting
Department of Electrical and Computer Engineering, McGill University, Montreal, Canada(麦吉尔大学电气与计算机工程系);Amazon Science. This work does not relate to the author’s position at Amazon(亚马逊科学);Mila - Quebec Artificial Intelligence Institute, Montreal, Canada(魁北克人工智能研究所);ILLS - International Laboratory on Learning Systems, Montreal, Canada(学习系统国际实验室)
本研究建立了Koopman算子近似与线性RNN的等价关系,提出SKOLR模型,结合可学习谱分解与MLP作测量函数,用并行线性RNN栈实现结构化Koopman算子,在时间序列预测任务上取得优异性能。
2025-06-17 cs.AI cs.LG stat.ML
Multi-Graph Convolutional-Recurrent Neural Network (MGC-RNN) for Short-Term Forecasting of Transit Passenger Flow
Delft University of Technology(代尔夫特理工大学);City University of Hong Kong(香港城市大学);Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
短期客流预测对于公交管理和人群调节至关重要。空间相关性、时间相关性、其他潜在因素驱动下的站间相关性以及外生因素对城市轨道交通网络客流短期预测带来了挑战。提出了一种新的深度学习方法--多图卷积-递归神经网络(MGC-RNN)来预测城市轨道交通系统中的客流,以综合考虑这些复杂因素。我们建议使用多个图来编码的空间和其他异质站间的相关性。站间相关性的时间动态也通过建议的多图卷积递归神经网络结构建模。所有站点的流入和流出可以通过序列到序列(seq 2seq)架构提前多个时间步长进行集体预测。将该方法应用于深圳地铁客流的短期预测。实验结果表明,MGC-RNN在预测精度方面优于基准算法。此外,研究发现,由网络距离、网络结构和最近的客流模式驱动的站间是客流预测的重要因素。此外,LSTM-编解码器的架构可以很好地捕捉时间依赖性。总体而言,该框架可以提供多视角的客流动态精细预测,并为时空预测任务中的多源异构数据融合提供了可能性。
2022-05-20 cs.LG
RNN(p) for Power Consumption Forecasting
Politecnico di Milano, Department of Mathematics(米兰理工大学数学系);University of Edinburgh, Business School(爱丁堡大学商学院)
提出RNN(p)作为ARX(p)的推广,用于多时间尺度季节模式预测,通过结构化反馈设计高效训练策略,在电力消耗预测中实现高精度与可解释性。
2026-06-18 cs.LG eess.SP q-fin.ST
A Distance Correlation-Based Approach to Characterize the Effectiveness of Recurrent Neural Networks for Time Series Forecasting
University of Washington(华盛顿大学)
本文提出基于距离相关性的方法,将时间序列特征与RNN组件关联,通过分析激活层信息流来解释性能差异,发现RNN能学习滞后结构但随层数加深而丢失信息,且无法充分建模移动平均和异方差过程,从而帮助从业者在无需训练的情况下评估RNN有效性。
2024-04-25 cs.LG
R2N2: Residual Recurrent Neural Networks for Multivariate Time Series Forecasting
University of Minnesota, Twin Cities(明尼苏达大学双城分校);IBM Research, T. J. Watson Research Center(IBM研究院托马斯·J·沃森研究中心)
多变量时间序列建模与预测是一个具有广泛应用前景的重要问题。传统的方法,如VAR(向量自回归)模型和最近的方法,如RNN(循环神经网络)是建模时间序列数据不可或缺的工具。在许多多变量时间序列建模问题中,通常存在显著的线性依赖分量,VAR适用于该分量,以及非线性分量,RNN适用于该分量。仅使用VAR或仅使用RNN对此类时间序列进行建模可能会导致预测性能差或模型复杂,训练时间长。在这项工作中,我们提出了一种称为R2N2(残差RNN)的混合模型,它首先用简单的线性模型(如VAR)对时间序列进行建模,然后使用RNN对其残差进行建模。R2N2可以使用VAR和RNN的现有算法进行训练。通过对两个真实世界数据集(航空和气候领域)的广泛实证评估,我们表明R2N2具有竞争力,通常优于单独使用的VAR或RNN。我们还表明,与RNN相比,R2N2的训练速度更快,同时需要更少的隐藏单元。
2017-09-10 cs.LG stat.ML
TempoPFN: Synthetic Pre-training of Linear RNNs for Zero-shot Time Series Forecasting
University of Freiburg(弗赖堡大学);Prior Labs(普赖尔实验室)
TempoPFN通过合成预训练线性RNN,实现高效零样本时间序列预测,超越现有方法并提供可重复的研究基础。
2026-11-03 cs.AI cs.LG stat.ML
A Concurrent CNN-RNN Approach for Multi-Step Wind Power Forecasting
Toronto Metropolitan University(多伦多都会大学);University of Toronto(多伦多大学);Bogazici University(博阿齐奇大学)
风力发电预测有助于电力系统的规划,有助于在决策中具有更高的确定性。由于气象事件固有的随机性(例如,风速),对风力进行高度准确的长期预测可能极其困难。解决这一挑战的一种方法是利用来自地理网格上多个点的天气信息来获得风模式的整体视图,以及来自风电场先前功率输出的时间信息。我们提出的CNN-RNN架构结合了卷积神经网络(CNN)和递归神经网络(RNN),从多维输入数据中提取空间和时间信息,以进行提前一天的预测。在这方面,我们的方法结合了超宽的学习视图,结合了来自多个数值天气预测模型、风电场和地理位置的数据。此外,我们实验了全局预测方法,以了解在从多个不同风电场获得的数据集上训练相同模型的影响,并且我们采用了一种方法,其中从卷积层提取的空间信息被传递到树集合(例如,光梯度提升机(LGBM))而不是完全连接的层。结果表明,我们提出的CNN-RNN架构在全局训练时优于其他模型,如LGBM,Extra Tree回归和线性回归,但在每个农场单独训练时无法复制这种性能。我们还观察到,将空间信息从CNN传递到LGBM可以提高其性能,为CNN的空间特征提取能力提供了进一步的证据。
2023-01-02 cs.LG
Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions
Monash University(莫纳什大学)
循环神经网络(RNN)已经成为有竞争力的预测方法,最值得注意的是最近的M4竞赛的获胜方法。然而,ETS和ARIMA等已建立的统计模型不仅因其高准确性而受到欢迎,而且还因其强大,高效和自动化而适用于非专家用户。在这些领域,RNN还有很长的路要走。我们提出了一个广泛的实证研究和现有的RNN预测架构的开源软件框架,使我们能够制定指导方针和最佳实践。例如,我们得出结论,如果数据集中的序列具有均匀的季节模式,则RNN能够直接对季节性进行建模,否则我们建议进行去季节化步骤。与ETS和ARIMA的比较表明,实现的(半)自动RNN模型不是银弹,但在许多情况下它们是有竞争力的替代品。
2020-12-23 cs.LG cs.NE stat.ML
PGN: The RNN's New Successor is Effective for Long-Range Time Series Forecasting
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);School of Cyberspace Science and Technology, Beijing Jiaotong University(北京交通大学网络空间科学与技术学院)
提出RNN新继任者PGN,通过HIE层和门控机制将信息传播路径降至O(1),并构建双分支框架TPGN全面捕获时序语义,在五个数据集上实现SOTA性能与高效率。
2024-09-26 cs.LG
Stock Forecasting using M-Band Wavelet-Based SVR and RNN-LSTMs Models
Western Connecticut State University(西康涅狄格州立大学)
预测未来股票价值的任务一直是人们非常渴望的,尽管非常困难。这个困难来自股票的非平稳行为,没有任何明确的形式。因此,最好通过分析金融股票数据来进行预测。为了处理大数据集,目前的惯例涉及使用移动平均线。然而,利用小波变换代替移动平均去噪股票信号,金融数据可以平滑和更准确地分解。这种新转换,去噪和更稳定的股票数据可以通过非参数统计方法进行跟踪,例如支持向量回归(SVR)和基于循环神经网络(RNN)的长短期记忆(LSTM)网络来预测未来股票价格。通过这些方法的实施,人们得到了更准确的股票预测,进而增加了利润。
2019-04-17 cs.LG q-fin.CP stat.ML
Forecasting Cryptocurrency Prices using Contextual ES-adRNN with Exogenous Variables
Czestochowa University of Technology(琴斯托霍瓦工业大学)
本文提出结合指数平滑与带注意力扩张循环单元的分层扩张RNN的混合上下文模型,利用外生变量和代表性序列信息动态调整预测,生成加密货币多时间跨度的点预测与区间预测,在15种加密货币数据集上与统计及机器学习模型对比。
2025-04-11 cs.AI cs.LG
Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks
University of Oxford(牛津大学);Mind Foundry Ltd.(思维铸造有限公司)
循环神经网络(RNN)在几个顺序学习任务中是最先进的,但它们通常需要大量的数据才能很好地概括。对于许多时间序列预测(TSF)任务,在训练时可能只有几十个观测值可用,这限制了这类模型的使用。我们提出了一种新的基于RNN的模型,通过在许多量化时间序列的空间上学习共享特征嵌入来直接解决这个问题。我们展示了这如何使我们的RNN框架能够准确可靠地预测看不见的时间序列,即使在几乎没有训练数据可用的情况下。
2020-03-26 cs.LG stat.ML
Meta-Forecasting by combining Global Deep Representations with Local Adaptation
IIT(意大利理工学院);UCL(伦敦大学学院);Amazon Web Services(亚马逊云服务)
虽然经典的时间序列预测孤立地考虑单个时间序列,但基于深度学习的最新进展表明,从大量相关时间序列中联合学习可以提高预测准确性。然而,当对样本外时间序列建模时,这些方法的准确性会受到很大影响,与经典预测方法相比,显着限制了它们的适用性。为了弥合这一差距,我们采用元学习的时间序列预测问题的观点。我们引入了一种新的预测方法,称为Meta全局-局部自回归(Meta-GLAR),它通过学习从递归神经网络(RNN)产生的表示到一步预测的封闭形式的映射来适应每个时间序列。至关重要的是,RNN的参数是通过封闭形式的自适应机制通过反向传播在多个时间序列中学习的。在我们广泛的实证评估中,我们表明,我们的方法是有竞争力的国家的最先进的样本预测精度在早期的工作。
2021-11-12 cs.AI cs.LG stat.ML
Building a temperature forecasting model for the city with the regression neural network (RNN)
Egopulse JSC(Egopulse 股份公司);Ho Chi Minh University of Science(胡志明市科学大学);University of Economics and Law(经济与法律大学)
针对天气变化复杂及全球变暖问题,本文总结应用循环神经网络(RNN)构建城市温度预测模型的研究与解决方案,以提高预测的准确性和可靠性。
2024-05-27 cs.LG cs.SY eess.SY
RNN-BOF: A Multivariate Global Recurrent Neural Network for Binary Outcome Forecasting of Inpatient Aggression
Monash University(莫纳什大学);Swinburne University of Technology(斯威本科技大学)
本文提出全局多元循环神经网络RNN-BOF,将住院患者攻击风险建模为时间序列二元预测问题,在83名患者真实数据上相比心理测量基准和已有机器学习方法取得显著性能提升。
2023-12-02 cs.LG
Learning from Predictions: Fusing Training and Autoregressive Inference for Long-Term Spatiotemporal Forecasts
ETH Zürich(苏黎世联邦理工学院);Harvard University(哈佛大学)
递归神经网络(RNN)已成为自然语言处理和高维动力系统(如湍流)等领域建模和预测框架的组成部分。为了提高预测的准确性,RNN使用时间反向传播(BPTT)方法进行训练,以最大限度地减少预测损失。在测试过程中,RNN通常用于自回归场景,其中网络的输出被反馈到输入中。然而,这可能会导致曝光偏差效应,因为网络被训练成接收地面实况数据,而不是自己的预测。当状态分布不同时,训练和测试之间的这种不匹配被复合,并且测量训练和测试损耗。为了解决这个问题,以前的研究已经提出了具有概率预测的语言处理网络的解决方案。基于这些进展,我们提出了用于预测复杂系统的预定自回归BPTT(BPTT-SA)算法。我们的研究结果表明,BPTT-SA有效地减少了卷积RNN和卷积自动编码器RNN中的迭代误差传播,并证明了其在高维流体流动长期预测中的能力。
2023-02-22 cs.LG nlin.CD physics.comp-ph
Contextually Enhanced ES-dRNN with Dynamic Attention for Short-Term Load Forecasting
Meta;Czestochowa University of Technology(琴斯托霍瓦工业大学)
在本文中,我们提出了一种新的短期负荷预测(STLF)模型的基础上上下文增强的混合和层次结构相结合的指数平滑(ES)和递归神经网络(RNN)。该模型由两个同时训练的轨迹组成:上下文轨迹和主轨迹。上下文轨道向主轨道引入附加信息。它是从代表性系列中提取出来的,并进行动态调整以适应主轨迹预测的各个系列。RNN架构由多个递归层组成,这些递归层堆叠有分层扩张,并配备了最近提出的细心扩张的递归单元。这些单元使模型能够捕获跨时间序列的短期、长期和季节依赖性,并动态地对输入信息进行加权。该模型产生点预测和预测区间。对35个预测问题进行的实验表明,该模型在准确性方面优于其前身以及标准统计模型和最先进的机器学习模型。
2022-12-18 cs.AI cs.LG cs.NE
A Statistics and Deep Learning Hybrid Method for Multivariate Time Series Forecasting and Mortality Modeling
University of the Witwatersrand(金山大学);University of Johannesburg(约翰内斯堡大学)
混合方法已被证明在预测任务和量化与这些预测(预测区间)相关的不确定性方面优于纯统计和纯深度学习方法。一个例子是指数平滑递归神经网络(ES-RNN),它是统计预测模型和递归神经网络变体之间的混合。ES-RNN在Makridakis-4预测竞赛中的绝对误差提高了9.4%。这种改进和其他混合模型的类似表现主要仅在单变量数据集上得到证明。将混合预测方法应用于多变量数据的困难包括($i$)不简约的模型的超参数调整所涉及的高计算成本,($ii$)与数据中固有的自相关相关联的挑战,以及($iii$)可能难以捕获的协变量之间的复杂依赖性(互相关)。本文提出了多元指数平滑长短期记忆(MES-LSTM),这是ES-RNN的一种广义多元扩展,它克服了这些挑战。MES-LSTM使用矢量化实现。我们在2019年冠状病毒病(COVID-19)发病率数据集上测试了MES-LSTM,发现我们的混合方法在预测准确性和预测区间构建方面比纯统计和深度学习方法表现出一致的显着改进。
2021-12-16 cs.LG stat.ML
Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Forecasting Network-wide Traffic State with Missing Values
University of Washington(华盛顿大学)
近年来,基于深度学习方法,特别是递归神经网络(RNN)的短期流量预测备受关注。然而,在时空数据的预测能力和处理丢失数据的能力方面,基于RNN的模型在交通预测中的潜力尚未得到充分利用。在本文中,我们专注于基于RNN的模型,并试图重新制定将RNN及其变体纳入流量预测模型的方法。提出了一种堆叠的双向和单向LSTM网络架构(SBU-LSTM),用于辅助交通状态预测的神经网络结构设计。作为该架构的关键组件,双向LSTM(BDLSM)被用来捕获时空数据中的前向和后向时间依赖性。为了处理时空数据中的缺失值,我们还提出了一种LSTM结构中的数据填补机制(LSTM-I),通过设计一个填补单元来推断缺失值并辅助流量预测。LSTM-I的双向版本被整合到SBU-LSTM架构中。两个真实世界的网络范围内的交通状态数据集被用来进行实验,并公布,以促进进一步的交通预测研究。评估了多种类型的多层LSTM或BDLSTM模型的预测性能。实验结果表明,所提出的SBU-LSTM架构,特别是两层BDLSTM网络,可以在准确性和鲁棒性方面实现网络范围流量预测的优异性能。此外,综合比较结果表明,所提出的数据填补机制在基于RNN的模型可以实现突出的预测性能时,模型的输入数据包含不同模式的缺失值。
2020-05-24 cs.LG eess.SP stat.ML
Industrial Forecasting with Exponentially Smoothed Recurrent Neural Networks
Illinois Institute of Technology(伊利诺伊理工学院)
时间序列建模已经进入了一个数据规模和复杂性空前增长的时代,这需要新的建模方法。虽然出现了许多新的通用机器学习方法,但它们仍然难以理解,并且与更传统的统计建模方法不可调和。我们提出了一类指数平滑循环神经网络(RNN),非常适合于建模非平稳动态系统中出现的工业应用。特别是,我们分析他们的能力,以表征非线性偏自相关结构的时间序列,并直接捕捉动态的影响,如季节性和趋势。指数平滑RNN预测电力负荷,天气数据和股票价格的应用突出了指数平滑隐藏状态的多步时间序列预测的有效性。研究结果还表明,流行的,但更复杂的神经网络架构最初是为语音处理设计的,如LSTM和GRU,可能被过度设计用于工业预测和轻量级指数平滑架构,在一小部分时间内训练,捕捉显著特征,同时比简单的RNN和ARIMA模型更优越,更强大。此外,不确定性量化的指数平滑循环神经网络,贝叶斯估计,提供了更好的覆盖。
2020-10-30 cs.LG stat.ML
Streaming Adaptation of Deep Forecasting Models using Adaptive Recurrent Units
IIT Bombay(印度理工学院孟买分校)
我们提出了ARU,一种自适应递归单元,用于对深度全局训练的时间序列预测模型进行流适应。ARU结合了从深度全局模型学习跨多个时间序列的复杂数据转换的优势,以及由封闭形式线性模型提供的每个序列本地化。与现有的训练后内存密集型或无响应的自适应方法不同,ARU只需要固定大小的状态,并通过简单的RNN更新操作来适应流数据。驱动ARU的核心原理很简单-保持条件高斯分布的足够统计量,并使用它们来计算封闭形式的局部参数。我们的贡献在于将这种局部线性模型嵌入到全局训练的深度模型中,同时一方面允许端到端的训练,另一方面允许简单的RNN式更新。在几个数据集上,我们表明ARU比最近提出的局部自适应方法更有效,这些方法对全局网络征税来计算局部参数。
2019-07-04 cs.AI cs.LG stat.ML
ES-dRNN: A Hybrid Exponential Smoothing and Dilated Recurrent Neural Network Model for Short-Term Load Forecasting
Facebook;Czestochowa University of Technology(琴斯托霍瓦技术大学)
短期负荷预测是一个具有挑战性的问题,因为时间序列具有三种季节性模式和非线性趋势。本文提出了一种新的混合层次深度学习模型,该模型处理多个季节性,并产生点预测和预测区间(PI)。它结合了指数平滑(ES)和循环神经网络(RNN)。ES动态地提取每个单独TS的主要成分,并启用动态去季节化,这在相对较小的数据集上操作时特别有用。多层RNN配备了一种新型的扩张递归单元,旨在有效地对TS中的短期和长期依赖性进行建模。为了改进内部TS表示,从而提高模型的性能,RNN同时学习ES参数和将输入转换为预测的主映射函数。我们比较我们的方法与几个基线方法,包括经典的统计方法和机器学习(ML)的方法,对35个欧洲国家的STLF问题。实证研究清楚地表明,该模型具有较高的表达能力,解决非线性随机预测问题的TS包括多个季节性和显着的随机波动。事实上,它在准确性方面优于统计和最先进的ML模型。
2021-12-05 cs.LG cs.NE
Rethinking Recurrent Neural Networks for Time Series Forecasting: A Reinforced Recurrent Encoder with Prediction-Oriented Proximal Policy Optimization
School of Management, Huazhong University of Science and Technology(华中科技大学管理学院);Center for Applied Mathematics, École des Ponts ParisTech(巴黎高等理工学院应用数学中心);School of Mechanical Engineering, Dalian Jiaotong University(大连交通大学机械工程学院);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
本文提出RRE-PPO4Pred方法,通过强化编码器和改进的PPO算法提升时间序列预测的准确性和模型能力。
2026-01-13 cs.LG cs.NE
Forecasting Across Time Series Databases using Recurrent Neural Networks on Groups of Similar Series: A Clustering Approach
Monash University(莫纳什大学);Uber Technologies Inc(优步科技公司)
随着大数据的出现,现在在许多应用程序中,包含大量相似时间序列的数据库是可用的。用传统的单变量预测程序预测这些领域的时间序列,留下了巨大的潜力,产生准确的预测尚未开发。循环神经网络(RNN),特别是长短期记忆(LSTM)网络,最近已经证明,当在所有可用的时间序列上进行训练时,它们能够在这种情况下胜过最先进的单变量时间序列预测方法。然而,如果时间序列数据库是异构的,准确性可能会退化,因此在这个空间中走向全自动预测方法的道路上,需要将时间序列之间的相似性的概念构建到方法中。为此,我们提出了一种预测模型,可以与不同类型的RNN模型一起使用,这些模型可以通过时间序列聚类技术识别。我们使用LSTM网络来评估我们提出的方法,LSTM网络是一种广泛流行的RNN变体。我们的方法在竞争评估程序下的基准数据集上取得了有竞争力的结果。特别是在平均sMAPE准确性方面,它始终优于基线LSTM模型,并且在CIF 2016预测竞赛数据集上优于所有其他方法。
2018-09-12 cs.DB cs.LG econ.EM
Short-term Demand Forecasting for Online Car-hailing Services using Recurrent Neural Networks
University of Tehran(德黑兰大学)
短时交通流预测是智能交通系统的关键问题之一,是智慧城市的重要组成部分。准确的预测可以使驾驶员和乘客更好地决定他们的出行路线,出发时间和出行起点的选择,这可以有助于交通管理。基于时间序列预测和机器学习的多种模型和算法被应用于该问题,并取得了令人满意的结果。最近,充足的数据和计算能力的可用性促使我们通过深度学习方法来提高预测精度。循环神经网络已成为时间序列预测中最流行的方法之一,然而,由于这些网络的多样性,哪种类型的网络是最适合这一任务的问题仍然没有得到解决。本文采用简单RNN单元、GRU和LSTM神经网络三种递归神经网络进行短时交通流预测。来自TAP30 Corporation的数据集用于构建模型,并将RNN与几个知名模型(如DEMA,LASSO和XGBoost)进行比较。结果表明,所有三种类型的RNN都优于其他RNN,但是,更简单的RNN,如简单的递归单元和GRU,在准确性和训练时间方面比LSTM表现得更好。
2019-01-29 cs.LG stat.ML
Multi-Task Time Series Forecasting With Shared Attention
George Washington University(乔治华盛顿大学);Shandong University(山东大学);Beihang University(北京航空航天大学)
时间序列预测是许多工业和商业决策过程中的关键组成部分,基于递归神经网络(RNN)的模型在各种时间序列预测任务上取得了令人印象深刻的进展。然而,大多数现有的方法都集中在单任务预测问题上,基于有限的监督目标单独学习,这往往会受到训练实例不足的影响。由于Transformer体系结构和其他基于注意力的模型已经证明了其捕获长期依赖性的强大能力,我们提出了两个基于自注意力的多任务时间序列预测共享方案,可以跨多个任务联合进行训练。我们增加了一个序列的一个外部的公共多头注意力功能,这是更新的所有任务的所有数据的并行Transformer编码器。在多个实际多任务时间序列预测任务上的实验表明,我们提出的架构不仅可以优于最先进的单任务预测基线,而且还优于基于RNN的多任务预测方法。
2021-01-24 cs.LG stat.ML
Comparative Study of Predicting Stock Index Using Deep Learning Models
Liverpool John Moores University(利物浦约翰摩尔大学);Salesforce(赛富时公司);Cardinal Health(卡地纳健康集团)
本研究比较了ARIMA等传统方法与Deep AR等深度学习模型在NIFTY-50数据集上的股票指数预测表现,发现Deep AR以0.01的MAPE和189的RMSE取得最优结果,且在数据量减少时仍保持稳定性能。
2023-06-24 cs.AI cs.LG
Attention as an RNN
Mila(米拉研究所);Borealis AI(博雷亚利斯人工智能公司);Université de Montréal(蒙特利尔大学)
针对Transformer推理时计算昂贵的问题,本文提出将注意力视为RNN,并引入Aaren模块,可并行训练且高效更新新token,在38个数据集上性能媲美Transformer且更高效。
2024-05-28 cs.LG
STConvS2S: Spatiotemporal Convolutional Sequence to Sequence Network for Weather Forecasting
CEFET/RJ(里约热内卢联邦教育、科学与技术中心);LNCC(国家科学计算实验室)
将机器学习模型应用于气象数据,为地球科学领域带来了许多机会,例如更准确地预测未来的天气状况。近年来,利用深度神经网络对气象数据进行建模已成为一个相关的研究领域。这些工作应用递归神经网络(RNN)或混合RNN和卷积神经网络(CNN)的混合方法。在这项工作中,我们提出了STConvS2S(时空卷积序列到序列网络),这是一种深度学习架构,仅使用卷积层学习空间和时间数据依赖关系。我们提出的架构解决了卷积网络使用历史数据预测序列的两个限制:(1)它们在学习过程中违反了时间顺序,(2)它们要求输入和输出序列的长度相等。计算实验使用来自南美洲的气温和降雨量数据表明,我们的架构捕捉时空背景下,它优于或匹配的结果,国家的最先进的架构预测任务。特别是,我们提出的架构的一个变体在预测未来序列方面要好23%,在训练方面比用作基线的基于RNN的模型快5倍。
2020-11-10 cs.LG stat.ML
Temporal-Spatial dependencies ENhanced deep learning model (TSEN) for household leverage series forecasting
Central University of Finance and Economics(中央财经大学);Beijing Wuzi University(北京物资学院)
由于时空动态的复杂性,分析时间和空间模式以建立准确的金融时间序列预测模型是一项挑战:来自不同位置的时间序列通常具有不同的模式;对于同一时间序列,模式可能会随着时间的推移而变化。受深度学习成功应用的启发,本文提出了一个新的模型来解决中国家庭杠杆率的预测问题。我们的解决方案由多个基于RNN的层和一个注意层组成:每个基于RNN的层自动学习具有多变量外生序列的特定序列的时间模式,然后注意层学习空间相关权重并同时获得全局表示。结果表明,新方法能较好地捕捉到居民杠杆率的时空动态变化,预测结果更加准确可靠。此外,仿真研究还表明,聚类和选择相关序列是必要的,以获得准确的预测结果。
2022-10-17 cs.LG stat.ML
Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion
Iowa State University(爱荷华州立大学);Tsinghua University(清华大学)
针对序列建模中Transformer二次复杂度限制长序列应用、传统RNNs并行性不足的问题,提出BLUR双向线性循环模型,通过前后向LRUs实现线性复杂度与快速并行训练,在准确性和计算成本上优于现有模型,适用于长序列预测任务。
2025-04-11 cs.LG
Online learning of windmill time series using Long Short-term Cognitive Networks
Hasselt University(哈塞尔特大学);Tilburg University(蒂尔堡大学);Warsaw University of Technology(华沙理工大学);Universidad de Talca(塔尔卡大学)
预测风车时间序列通常是其他过程的基础,如异常检测,健康监测或维护调度。风车农场产生的大量数据使在线学习成为最可行的策略。这样的设置需要在每次有新的一批数据可用时重新训练模型。然而,使用传统的递归神经网络(RNN)来更新模型的新信息通常非常昂贵。在本文中,我们使用长短期认知网络(LSTCN)预测风车时间序列在线设置。这些最近引入的神经系统由链式短期认知网络块组成,每个块处理一个时间数据块。这些块的学习算法基于非常快速的确定性学习规则,使得LSTCN适合于在线学习任务。使用四个风车的案例研究的数值模拟表明,我们的方法相对于简单的RNN,长短期记忆,门控递归单元和隐马尔可夫模型的预测误差最低。也许更重要的是,LSTCN方法比这些最先进的模型快得多。
2021-09-16 cs.AI cs.LG
Correlated Time Series Forecasting using Deep Neural Networks: A Summary of Results
Aalborg University(奥尔堡大学)
网络物理系统通常由随着时间的推移相互作用的实体组成。与此同时,作为工业过程持续数字化的一部分,各种传感器技术被部署,使我们能够记录时变属性(也称为,时间序列),从而产生相关的时间序列。为了能够对这种相关的时间序列进行准确的预测,本文提出了两种模型,结合卷积神经网络(CNN)和递归神经网络(RNN)。第一个模型在每个单独的时间序列上使用CNN,组合卷积特征,然后在卷积特征之上应用RNN,以实现预测。第二个模型将额外的自动编码器添加到各个CNN中,使第二个模型成为多任务学习模型,提供准确和强大的预测。在两个真实的相关时间序列数据集上的实验表明,所提出的两个模型是有效的,在大多数情况下优于基线。本报告通过提供额外的实验结果,扩展了ACM CIKM 2018上发表的论文“使用多任务深度神经网络进行相关时间序列预测”。
2018-08-30 cs.LG stat.ML
Combating Distribution Shift for Accurate Time Series Forecasting via Hypernetworks
Nanchang University(南昌大学);ETH Zurich(苏黎世联邦理工学院);The Hong Kong Polytechnic University(香港理工大学)
时间序列预测在城市生活中有着广泛的应用,从空气质量监测到交通分析。然而,准确的时间序列预测是具有挑战性的,因为现实世界的时间序列遭受的分布偏移的问题,其中它们的统计特性随时间而变化。尽管广泛的解决方案,分布偏移领域自适应或推广,他们无法有效地在未知的,不断变化的分布偏移,这是常见的时间序列。在本文中,我们提出了超时间序列预测(HTSF),一个基于超网络的准确预测框架下的分布偏移的时间序列。HTSF以端到端的方式联合学习时变分布和相应的预测模型。具体而言,HTSF利用超层来学习分布偏移的最佳表征,生成主层的模型参数以进行准确的预测。我们将HTSF实现为一个可扩展的框架,可以合并不同的时间序列预测模型,如RNN和Transformers。在9个基准上的大量实验表明,HTSF达到了最先进的性能。
2022-07-14 cs.AI cs.LG
Neural Chronos ODE: Unveiling Temporal Patterns and Forecasting Future and Past Trends in Time Series Data
Centre of Mathematics, University of Minho(米尼奥大学数学中心)
本文提出神经时间序常微分方程(Neural CODE)架构,通过连续时间ODE拟合实现时间序列的前向和后向预测,并探索与RNN的结合变体;实验表明其在稀疏数据下优于Neural ODE,且双向变体在插补和外推任务上表现最佳。
2023-07-03 cs.LG
Long Short-term Memory RNN
本文基于挪威科技大学2020年秋季的一个机器学习项目。该项目的启动是对过去五年来科学界时间序列预测方法的最新发展进行文献审查。本文总结了这项研究的基本方面。此外,在本文中,我们介绍了LSTM单元的架构,并解释了不同的组件如何一起改变单元的内存并预测输出。此外,本文还提供了通过LSTM计算前向迭代的必要公式和基础。然后,本文提到了一些实际的应用和研究,强调LSTM的优点和缺点,在时间序列域和自然语言处理(NLP)域。最后,突出了时间序列预测的替代统计方法,其中概述了ARIMA和指数平滑。然而,由于LSTM可以被视为一个复杂的体系结构,本文假设读者对基本的机器学习方面有一定的了解,例如多层感知器,激活函数,过拟合,反向传播,偏差,过拟合和欠拟合等等。
2021-05-14 cs.AI cs.LG
BiHRNN -- Bi-Directional Hierarchical Recurrent Neural Network for Inflation Forecasting
Tel Aviv University(特拉维夫大学)
针对CPI分层结构导致的通胀预测难题,提出双向分层循环神经网络BiHRNN,通过层级间双向信息流和参数约束提升预测精度,在多国数据集上显著优于传统RNN。
2025-02-27 cs.LG econ.GN q-fin.CP
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测,在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型,提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
Spatiotemporal Adaptive Neural Network for Long-term Forecasting of Financial Time Series
Université de Sherbrooke(舍布鲁克大学);Laplace Insights
社会环境中的最优决策通常基于时间序列(TS)数据的预测。最近,使用深度神经网络(DNN)(例如递归神经网络(RNN))的几种方法已经被引入用于TS预测,并且已经显示出有希望的结果。然而,这些方法的适用性受到质疑TS设置,其中缺乏质量训练数据和TS预测表现出复杂的行为。这种情况的例子包括金融TS预测,其中产生准确和一致的长期预测是众所周知的困难。在这项工作中,我们研究了基于DNN的模型是否可以通过学习序列的联合表示来联合预测这些TS,而不是从原始时间序列表示中计算预测。为此,我们利用动态因子图(DFG)建立了一个多元自回归模型。我们研究了依赖于DFG框架的RNN的一个常见局限性,并提出了一种新的基于可变长度注意力的机制(ACTM)来解决这个问题。使用ACTM,可以随着时间的推移改变TS模型的自回归阶数,并建模比以前的方法更大的概率分布集。使用这种机制,我们提出了一种用于多变量TS预测的自监督DNN架构,该架构可以学习并利用它们之间的关系。我们在两个涵盖19年投资基金活动的数据集上测试了我们的模型。我们的实验结果表明,所提出的方法在预测21天的价格轨迹方面明显优于典型的基于DNN的统计模型。我们指出如何提高预测的准确性,知道使用哪种预测可以提高自主交易策略的超额收益。
2020-11-16 cs.LG stat.ML
ONE-NAS: An Online NeuroEvolution based Neural Architecture Search for Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测可以推动和推进包括金融、交通、医疗保健和电力系统在内的各种领域。然而,TSF的机器学习(ML)模型的实际应用受到影响,因为预训练的模型能够学习和适应不可预测的模式,因为以前看不见的数据在更长的时间尺度上到达。为了解决这个问题,必须定期保留或重新设计模型,这需要大量的人力和计算资源。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,据作者所知,这是第一个能够在在线环境中自动设计和训练新的递归神经网络(RNN)的神经结构搜索算法。在没有任何预训练的情况下,ONE-NAS利用RNN的种群,这些种群不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试,并显示优于传统的统计时间序列预测,包括朴素,移动平均和指数平滑方法,以及最先进的在线ARIMA策略。
2022-02-27 cs.LG cs.NE
Real-time Power System State Estimation and Forecasting via Deep Neural Networks
当代电网正面临着快速电压波动的挑战,这些波动是由可再生能源发电、电动汽车和需求响应计划的大规模部署引起的。在这种情况下,实时的监测电网的操作条件变得越来越重要。然而,随着大规模和非凸性的出现,现有的电力系统状态估计(PSSE)方案变得计算量大或产生次优性能。为了绕过这些障碍,本文提倡将深度神经网络(DNN)用于实时的电力系统监测。通过展开基于迭代物理的非线性求解器,开发了一种新的特定于模型的DNN,用于实时的PSSE,具有负担得起的训练和最小的调整工作。为了进一步实现系统感知,甚至在时间范围之前,以及赋予基于DNN的估计器弹性,深度递归神经网络(RNN)也被用于电力系统状态预测。深度RNN利用历史电压时间序列中存在的长期非线性依赖关系进行预测,并且易于实现。数值测试表明,与现有的替代方案相比,所提出的基于DNN的估计和预测方法的性能有所改善。在IEEE 118总线基准系统的实际负载数据实验中,基于DNN的新型模型特定PSSE方案的性能几乎超过竞争替代方案,包括广泛采用的高斯-牛顿PSSE求解器。
2018-11-30 cs.LG stat.ML
Global Models for Time Series Forecasting: A Simulation Study
Monash University(莫纳什大学);University of Melbourne(墨尔本大学)
在当前的大数据背景下,许多预测问题的性质已经从预测孤立的时间序列转变为预测来自类似来源的多个时间序列。这为开发同时从许多时间序列中学习的有竞争力的全球预测模型提供了机会。但是,全球预测模型何时能够超越单变量基准仍然不清楚,特别是沿着序列的同质性/异质性,序列中模式的复杂性,预测模型的复杂性以及序列的长度/数量的维度。我们的研究试图通过研究这些因素的影响来解决这个问题,通过模拟一些具有可控时间序列特征的数据集。具体来说,我们模拟时间序列从简单的数据生成过程(DGP),如自回归(AR)和季节性AR,复杂的DGP,如混沌Logistic映射,自激励阈值自回归,和麦基-格拉斯方程。通过将从多个DGP生成的时间序列混合到单个数据集中来引入数据异质性。数据集中的序列长度和数量在不同的情况下会有所不同。我们使用全局预测模型对这些数据集进行实验,包括递归神经网络(RNN),前馈神经网络,池化回归(PR)模型和光梯度提升模型(LGBM),并将其性能与标准的统计单变量预测技术进行比较。我们的实验表明,当被训练为全局预测模型时,具有复杂非线性建模能力的RNN和LGBM等技术在具有挑战性的预测场景下通常是有竞争力的方法,例如长度较短的序列,具有异构序列的数据集以及对序列模式的先验知识最少。
2021-03-22 cs.LG stat.ML
Forecasting Foreign Exchange Rate: A Multivariate Comparative Analysis between Traditional Econometric, Contemporary Machine Learning & Deep Learning Techniques
Birla Institute of Technology and Science, Pilani(博拉理工与科学大学皮拉尼分校)
在当今的全球经济中,准确预测宏观经济参数,如外汇汇率或至少正确估计趋势,对任何未来投资都至关重要。近年来,使用基于计算智能的技术来预测宏观经济变量已被证明是非常成功的。本文试图提出一种多变量时间序列方法来预测汇率(美元/印度卢比),同时比较三种多变量预测建模技术的性能:向量自回归(传统计量经济学技术),支持向量机(现代机器学习技术)和递归神经网络(现代深度学习技术)。我们使用1994年4月至2018年12月美国和印度几个宏观经济变量的月度历史数据来预测美元兑印度卢比的外汇汇率。结果清楚地表明,SVM和RNN(长短期记忆)的当代技术优于广泛使用的传统自回归方法。具有长短期记忆(LSTM)的RNN模型提供了最高的准确率(97.83%),其次是SVM模型(97.17%)和VAR模型(96.31%)。最后,我们提出了一个简短的分析相关性和相互依赖的变量用于预测。
2020-02-19 cs.LG econ.EM q-fin.ST
Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking
本研究探讨了LLMs在不同领域和提示框架下预测能力的差异,发现预测性能受问题类型和外部知识影响显著。
2025-11-23 cs.LG
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting
Northwestern Polytechnical University(西北工业大学)
针对Transformer依赖位置嵌入限制时间序列表示的问题,提出结合金字塔RNN嵌入(PRE)与Transformer的PRformer模型,利用多尺度卷积和RNN保留时间顺序,在真实数据集上达到最先进性能。
2024-08-20 cs.LG
Improving Long-Horizon Forecasts with Expectation-Biased LSTM Networks
University of Maryland(马里兰大学)
使用基于长短期记忆(LSTM)单元的递归神经网络(RNN)的最新预测方法已经显示出针对短期预测的卓越性能,例如,给定一组预测器特征,预测未来接下来几个时间步长的目标值。然而,在许多应用中,这些方法的性能随着预测范围延伸到这几个时间步长之外而衰减。本文旨在探索使用LSTM网络进行长期预测的挑战。在这里,我们说明了神经科学和能源供应管理数据集的长期预测问题。然后,我们提出了期望偏置,动态信念网络的文献激励的方法,作为一种解决方案,以提高长期预测使用LSTM。我们提出了两种LSTM架构以及两种显著优于标准实践的期望偏差方法。
2018-04-18 cs.LG stat.ML
Deep Forecast: Deep Learning-based Spatio-Temporal Forecasting
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Mojio Inc.(Mojio公司)
本文提出了一种时空风速预测算法,使用深度学习(DL),特别是,递归神经网络(RNN)。受可再生能源整合和智能电网的最新进展的启发,我们将我们提出的算法用于风速预测。可再生能源(风能和太阳能)在本质上是随机的,因此,准确的短期预测有助于它们的整合。在我们提出的框架中,我们通过一个图来建模时空信息,该图的节点是数据生成实体,其边缘基本上是这些节点如何相互作用的模型。我们的工作的主要贡献之一是,我们在同一时间基于一个框架获得预测的所有节点的图。记录的时间序列数据在美国东北部的风力发电厂的集合的案例研究的结果表明,所提出的基于DL的预测算法显着提高了短期预测相比,一组广泛使用的基准模型。
2017-07-24 cs.LG
Recency Biased Causal Attention for Time-series Forecasting
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
本文提出一种引入近期偏倚的因果注意力机制,通过平滑的重尾衰减重新加权注意力分数,增强局部时间依赖性,提升时间序列预测性能。
2026-04-22 cs.AI cs.LG stat.ML
Deep State Space Recurrent Neural Networks for Time Series Forecasting
CREST-ENSAE;Institut Polytechnique de Paris(巴黎综合理工学院)
针对加密货币市场动态预测,提出融合状态空间模型与RNN的框架,采用LSTM、GRU和TKANs,其中TKANs表现最佳。
2024-07-21 cs.LG
Forecasting Commodity Prices Using Long Short-Term Memory Neural Networks
AKADEMIYA2063(2063学院);International Food Policy Research Institute(国际食物政策研究所)
本文应用递归神经网络(RNN)方法对棉花和石油价格进行预测。我们展示了这些来自机器学习的新工具,特别是长短期记忆(LSTM)模型,如何补充传统方法。我们的研究结果表明,机器学习方法与数据拟合得相当好,但在样本预测方面,并没有系统地优于自回归综合移动平均(ARIMA)模型等经典方法。然而,平均预测从两种类型的模型提供更好的结果相比,任何一种方法。与ARIMA和LSTM相比,棉花平均预测的均方根误差(RMSE)分别低0.21%和21.49%。对于石油,预测平均并没有提供RMSE方面的改善。我们建议使用预测平均法,并将我们的分析扩展到广泛的商品价格。
2021-01-15 cs.LG q-fin.ST
Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting
Rochester Institute of Technology(罗切斯特理工学院)
时间序列预测(TSF)是数据科学中最重要的任务之一,因为准确的时间序列(TS)预测模型在包括金融、交通、医疗保健和电力系统在内的各种领域中发挥着重要作用。机器学习(ML)的实际应用通常涉及在收集的历史数据上(预)训练模型,然后将它们应用于看不见的数据点。然而,在现实世界的应用中,时间序列数据流通常是非平稳的,随着时间的推移,训练的ML模型通常会面临数据或概念漂移的问题。为了解决这个问题,模型必须定期重新训练或重新设计,这需要大量的人力和计算资源。此外,历史数据甚至可能不存在以用于重新训练或重新设计模型。因此,非常希望以在线方式设计和训练模型。这项工作提出了基于在线神经进化的神经结构搜索(ONE-NAS)算法,这是一种新的神经结构搜索方法,能够自动设计和动态训练递归神经网络(RNN)的在线预测任务。在没有任何预训练的情况下,ONE-NAS利用RNN群体,这些RNN群体不断更新新的网络结构和权重,以响应新的多元输入数据。ONE-NAS在真实世界的大规模多变量风力涡轮机数据以及单变量道琼斯工业平均指数(DJIA)数据集上进行了测试。结果表明,ONE-NAS优于传统的统计时间序列预测方法,包括在线线性回归,固定长短期记忆(LSTM)和在线训练的门控递归单元(GRU)模型,以及最先进的在线ARIMA策略。
2023-02-20 cs.LG cs.NE