Neural network interpretability for forecasting of aggregated renewable generation
Technical University of Denmark(丹麦技术大学)
随着可再生能源的快速发展,大量的小型光伏生产者出现。由于太阳能发电的不确定性,需要聚合生产消费者预测太阳能发电量以及太阳能发电量是否会大于负荷。本文提出了两个可解释的神经网络来解决这个问题:一个是二元分类神经网络,一个是回归神经网络。神经网络使用TensorFlow构建。全局特征重要性和局部特征贡献通过三种基于梯度的方法进行检查:集成的权重,预期的权重和DeepLIFT。此外,我们发现异常的情况下,预测可能会失败,估计预测的不确定性,使用贝叶斯神经网络。神经网络采用基于梯度的方法进行解释,并辅以不确定性估计,为决策者提供了稳健和可解释的预测。
2021-06-22 cs.LG
Simultaneously forecasting global geomagnetic activity using Recurrent Networks
Georgia Institute of Technology(佐治亚理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
社会使用的许多系统极易受到太阳耀斑和地磁暴等空间气象事件的影响,这些事件有可能造成灾难性损害。近年来,出现了许多作品,通过预测这些事件,通过一些代理,这些系统提供预警,但这些方法主要集中在一个特定的现象。我们提出了一个序列到序列的学习方法来预测全球空间天气条件的问题,在每小时的分辨率。这种方法改进了在这一领域的其他工作,同时预测地磁活动的几个关键代理提前6小时。我们证明了一个改进,目前已知的最好的预测地磁风暴,并改善了持久性基线提前几个小时。
2020-11-20 cs.LG
Deep State Space Recurrent Neural Networks for Time Series Forecasting
CREST-ENSAE;Institut Polytechnique de Paris(巴黎综合理工学院)
针对加密货币市场动态预测,提出融合状态空间模型与RNN的框架,采用LSTM、GRU和TKANs,其中TKANs表现最佳。
2024-07-21 cs.LG
Enhancing Multi-Step Brent Oil Price Forecasting with Ensemble Multi-Scenario Bi-GRU Networks
University of Verona(维罗纳大学)
针对布伦特原油价格多步预测精度低的问题,提出一种基于三个Bi-GRU网络的集成多场景预测模型,在包含疫情期间的数据集上优于基准模型。
2024-07-15 cs.LG
T$^2$-Net: A Semi-supervised Deep Model for Turbulence Forecasting
Rutgers University(罗格斯大学);NEC Labs America(美国电气通信基础技术研究所)
准确的空气湍流预报可以帮助航空公司避免危险的湍流,指导航线,保证乘客的安全,最大限度地提高效率,降低成本。传统的湍流预报方法严重依赖于精心定制的湍流指数,这在动态和复杂的天气条件下效果较差。最近获得的高分辨率天气数据和湍流记录允许以数据驱动的方式更准确地预测湍流。然而,由于两个挑战,开发基于机器学习的湍流预报系统是一项重要的任务:(1)复杂的时空相关性,湍流是由具有复杂时空模式的空气运动引起的,(2)标签稀缺,可以获得非常有限的湍流标签。为此,在本文中,我们开发了一个统一的半监督框架,T $^2$ -Net,以解决上述挑战。具体来说,我们首先基于卷积LSTM构建一个编码器-解码器范式来对时空相关性进行建模。然后,为了解决标签稀缺的问题,我们提出了一种新的双标签猜测方法,以利用大量的未标记的湍流数据。它将来自主要湍流预测任务和辅助湍流检测任务的互补信号整合以生成伪标签,伪标签被动态地用作附加训练数据。最后,在真实湍流数据集上的大量实验结果验证了该方法在湍流预测上的优越性。
2020-10-26 cs.LG
Recurrent Neural Networks for Time Series Forecasting
University of Debrecen(德布勒森大学)
时间序列预测是困难的。即使对于具有固有学习序列性能力的循环神经网络来说,这也是困难的。本文提出了一个基于递归神经网络的时间序列预测框架,涵盖特征工程,特征重要性,点和区间预测,预测评估。该方法的描述之后是使用LSTM和GRU网络的实证研究。
2019-01-01 cs.LG stat.ML
Forecasting The JSE Top 40 Using Long Short-Term Memory Networks
University of the Witwatersrand(威特沃特斯兰德大学)
由于大数据的更大可用性,以及现代计算的成本降低和能力增加,使用人工神经网络进行金融时间序列预测再次成为金融界讨论和研究的主要话题。尽管有这样的学术焦点,但对于人工神经网络的表现最好以及它们是否优于传统时间序列模型的预测能力,仍然存在截然不同的观点和文献。本文利用长短期记忆网路,对日本证券交易所40大指数的收益率资料进行金融时间序列预测。此外,预测性能的长短期记忆网络的预测性能的季节性自回归集成移动平均模型进行了比较。本文评估了现有文献中提出的不同方法,并最终将结果与现有文献进行了比较。本文的结论是,长短记忆网络优于季节性自回归积分移动平均模型预测日内方向性运动,以及在预测指数收盘价。
2021-04-20 cs.LG stat.ML
Probabilistic Time Series Forecasting with Implicit Quantile Networks
Zalando SE(扎兰多股份公司)
在这里,我们提出了一个一般性的概率时间序列预测方法。我们将自回归递归神经网络与隐式分位数网络相结合来模拟时间动态,以学习时间序列目标上的一大类分布。当与真实和模拟数据的其他概率神经预测模型相比时,我们的方法在逐点预测精度以及估计潜在的时间分布方面是有利的。
2021-07-08 cs.AI cs.LG
Forecasting Transportation Network Speed Using Deep Capsule Networks with Nested LSTM Models
Beihang University(北京航空航天大学);University of Washington(华盛顿大学)
对复杂交通网络进行准确可靠的交通量预测,对现代交通管理具有重要意义。道路连接的复杂空间依赖性和交通状态的动态时间模式使其特别具有挑战性。为了应对这些挑战,我们提出了一种新的胶囊网络(CapsNet)来提取交通网络的空间特征,并利用嵌套LSTM(NLSTM)结构来捕获交通序列数据中的分层时间依赖关系。通过依次连接CapsNet和NLSTM,提出了一个网络级流量预测框架。在文献综述的基础上,本文首次将CapsNet和NLSTM应用于交通预测领域。在北京市278个路段的交通网络上进行的实验表明,该框架具有捕获复杂时空交通模式的能力,优于多种最先进的交通预测基线模型。通过对实验结果的可视化和定量评价,分别论证了CapsNet和NLSTM的优越性和可行性。
2018-11-01 cs.LG stat.ML
Individual Claims Forecasting with Bayesian Mixture Density Networks
Kasa AI(卡萨人工智能)
我们介绍了一个利用贝叶斯混合密度网络的个人索赔预测框架,可用于索赔分析任务,如案件保留和分流。所提出的方法能够整合来自结构化和非结构化数据源的索赔信息,生成多期现金流预测,并生成未来支付模式的不同场景。我们使用公开的数据实现和评估建模框架。
2020-03-05 cs.LG stat.AP
A Global Modeling Approach for Load Forecasting in Distribution Networks
高效的负荷预测是必要的,以确保更好的可观察性在配电网络,而这样的预测是可能的智能电表安装数量的增加。由于配电网包括大量不同的负载在不同的聚合水平,如个人消费者,Transformer站和馈线负载,这是不切实际的开发单独的(或所谓的本地)预测模型为每个负载分开。此外,这样的局部模型忽略了可能由于其空间接近性和配电网络的特性而存在的不同负载之间的强依赖性。为了解决这些问题,本文提出了一种基于深度学习的全局建模方法,用于有效预测配电网中的大量负荷。通过这种方式,可以大大减少训练大量局部预测模型的计算负担,并且可以利用不同负荷之间共享的跨系列信息。此外,一个无监督的本地化机制和最佳的集成构建策略也提出了本地化/个性化的预测模型,以不同的负荷组,以进一步提高预测精度。在真实的智能电表数据上进行了全面的实验,以证明所提出的方法相比竞争方法的优越性。
2022-04-01 cs.AI cs.LG
Time Series Forecasting with Stacked Long Short-Term Memory Networks
Operations Group(运营组);Toronto Transit Commission(多伦多交通委员会)
长短期记忆(LSTM)网络通常用于捕获时间依赖模式。通过堆叠多层LSTM网络,它可以捕获更复杂的模式。本文探讨了将堆叠LSTM网络应用于时间序列预测领域的有效性,特别是交通量预测。能够更准确地预测交通量可以导致更好的规划,从而大大降低运营成本,提高整体效率。
2020-11-02 cs.LG stat.ML
DVS: Deep Visibility Series and its Application in Construction Cost Index Forecasting
Southwest University(西南大学);Chongqing University(重庆大学)
时间序列预测是近年来的研究热点。可见性图(VG)算法在以往的研究中被用于时间序列预测,但预测效果不如基于人工神经网络(ANN)、卷积神经网络(CNN)和长短期记忆网络(LSTM)的方法等深度学习预测方法。特定时间序列生成的可见性图包含丰富的网络信息,但以往的预测方法没有有效地利用网络信息进行预测,导致预测误差比较大。为了优化基于VG的预测方法,本文通过VG的仿生设计和对以往研究的扩展,提出了深度可见性系列(DVS)模块。通过将生物视觉的仿生设计应用于VG,DVS获得了较高的预测精度。同时,本文将DVS预测方法应用于工程造价指标预测,具有实际意义。
2022-05-14 cs.AI cs.LG
Randomized Neural Networks for Forecasting Time Series with Multiple Seasonality
Częstochowa University of Technology(琴希托霍瓦工业大学)
这项工作有助于神经预测模型的发展与新的基于随机化的学习方法。与标准方法相比,这些方法通过根据数据和目标函数特征生成网络参数,提高了神经模型的拟合能力。一个基于模式的时间序列表示,使所提出的方法用于预测时间序列与多个季节性。在模拟研究中,我们评估了所提出的模型的性能,发现它们在预测准确性方面可以与经过充分训练的网络竞争。非常快速和容易的训练,简单的架构,易于实现,高精度以及处理非平稳性和多个季节性的时间序列,使所提出的模型非常有吸引力的广泛复杂的时间序列预测问题。
2021-07-04 cs.LG cs.NE
Neural Network Multitask Learning for Traffic Flow Forecasting
East China Normal University(华东师范大学)
传统的神经网络方法用于交通流预测通常是单任务学习(STL)模型,没有利用相关任务提供的信息。与STL相比,多任务学习(MTL)具有通过在额外任务的训练信号中传递信息来提高泛化能力的潜力。本文将基于MTL的神经网络用于交通流预测。对于神经网络MTL,通过将多个连续时刻的业务流合并到输出层中来构建反向传播(BP)网络。输出层中的节点可以看作是不同但密切相关的STL任务的输出。通过对城市车辆交通流数据的综合实验以及与STL的比较表明,BP神经网络中的MTL是一种有前途的、有效的交通流预测方法。
2017-12-24 cs.CL cs.LG
Decentralized Flood Forecasting Using Deep Neural Networks
University of Iowa(爱荷华大学)
在极端风暴发生时预测任何地点的洪水是一个长期存在的问题,在应急管理中至关重要。传统的河流水位预测方法使用先进的水文模型,但仍然无法给出准确的预报。本研究旨在探讨人工深层神经网络在洪水预测上的效能。在提供可用于预测河流水位的模型的同时,本文提出了一个数据集,该数据集侧重于河网上数据点的连通性。它还表明,神经网络可以在洪水事件的时间序列预测非常有帮助,并支持通过数据同化改进现有的模型。
2019-06-21 cs.LG stat.ML
DDP-GCN: Multi-Graph Convolutional Network for Spatiotemporal Traffic Forecasting
Seoul National University(首尔大学)
交通速度预测是交通系统中的核心问题之一。为了更准确地预测,最近的研究开始不仅使用时间速度模式,而且通过图卷积网络使用道路网络上的空间信息。尽管道路网络是高度复杂的,由于其非欧和方向的特点,以前的方法主要集中在建模的空间依赖性使用的距离。在本文中,我们确定了两个基本的空间依赖关系,在交通预测除了距离,方向和位置关系,设计基本图形元素作为基本的积木。使用构建块,我们建议DDP-GCN(距离,方向和位置关系图卷积网络)将这三种空间关系纳入深层神经网络。我们用两个大规模的真实世界数据集对所提出的模型进行了评估,并发现在高度复杂的城市网络中进行长期预测的积极改进。对于通勤时间来说,改善幅度可能会更大,但对于短期预测来说,改善幅度也可能有限。
2022-09-25 cs.LG eess.SP
A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods
Jet Propulsion Laboratory(喷气推进实验室)
时间序列预测最近得到了很多关注,这是因为许多现实世界的现象可以建模为时间序列。大量的数据和计算机处理能力的最新进展使研究人员能够开发更复杂的机器学习算法,如神经网络来预测时间序列数据。在本文中,我们提出了各种神经网络架构来预测的时间序列数据使用的动态测量,此外,我们介绍了各种架构如何结合静态和动态测量预测。我们还调查了执行技术,如异常检测和聚类预测精度的重要性。我们的研究结果表明,聚类可以提高整体的预测时间,以及提高神经网络的预测性能。此外,我们表明,基于特征的聚类可以优于基于距离的聚类的速度和效率。最后,我们的研究结果表明,增加更多的预测因子来预测目标变量并不一定会提高预测精度。
2021-03-31 cs.LG stat.ML
Stacked Boosters Network Architecture for Short Term Load Forecasting in Buildings
VTT Technical Research Centre of Finland(芬兰VTT技术研究中心)
本文提出了一种新的深度学习架构,用于建筑物能源负荷的短期负荷预测。该架构基于一个简单的基础学习器和多个增强系统,这些系统被建模为单个深度神经网络。该架构将原始的多变量时间序列转换为多个级联的单变量时间序列。结合稀疏交互、参数共享和等变表示,这种方法可以对抗过拟合,同时仍然可以通过深度网络架构实现良好的表示能力。该架构进行了评估,在几个短期负荷预测任务的能源数据从办公楼在芬兰。所提出的架构优于国家的最先进的负荷预测模型在所有的任务。
2020-04-16 cs.LG stat.ML
Real-Time Network Traffic Forecasting with Missing Data: A Generative Model Approach
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
针对实际场景中网络流量数据常存在缺失的问题,提出一种基于生成式模型的实时预测方法,将任务建模为张量补全问题,通过优化潜在表示实现快速预测,在Abilene数据集上100ms内完成预测且MAE低于0.002,并提供理论误差保证。
2025-06-11 cs.LG cs.NI
Weather-Adaptive Multi-Step Forecasting of State of Polarization Changes in Aerial Fibers Using Wavelet Neural Networks
Nokia Bell Labs(诺基亚贝尔实验室);Nokia(诺基亚)
本文提出一种天气自适应方法,结合离散小波变换与天气数据,对架空光纤中的多尺度偏振态变化进行多步预测,在RMSE和MAPE上分别比基线提升65%和63%。
2024-09-05 cs.LG cs.NI
Multimodal Neural Network For Demand Forecasting
Zenlabs, Zensar Technologies Ltd.(Zensar科技有限公司Zenlabs)
需求预测应用程序极大地受益于用于时间序列预测的最先进的深度学习方法。传统的单模态模型主要是季节性驱动的,它试图将需求建模为历史销售以及假期和促销活动信息的函数。然而,准确和稳健的销售预测需要适应多种其他因素,如自然灾害,流行病,选举等,影响了对产品和产品类别的总体需求。我们提出了一个多模态的销售预测网络,它结合了新闻文章中的真实事件和传统数据,如历史销售和假日信息。此外,我们还融合了Google趋势发布的一般产品趋势的信息。实证结果显示,SMAPE误差指标在统计上有显著改善,与现实世界超市数据集上现有的最先进的销售预测技术相比,平均改善了7.37%。
2022-10-20 cs.AI cs.LG
Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting
University of Southern California(南加州大学);California Institute of Technology(加州理工学院)
时空预测在神经科学、气候和交通领域有着广泛的应用。交通预测是这种学习任务的一个典型例子。这项任务具有挑战性,因为(1)对道路网络的复杂空间依赖性,(2)随着道路条件变化的非线性时间动态,以及(3)长期预测的固有困难。为了解决这些挑战,我们建议将交通流建模为有向图上的扩散过程,并引入扩散卷积循环神经网络(DCRNN),这是一种用于交通预测的深度学习框架,它将交通流的空间和时间依赖性结合起来。具体来说,DCRNN使用图上的双向随机游走来捕获空间依赖性,并且使用具有预定采样的编码器-解码器架构来捕获时间依赖性。我们在两个真实世界的大规模道路网络交通数据集上评估了该框架,并观察到比最先进的基线提高了12% - 15%。
2018-02-22 cs.LG stat.ML
CESNET-TimeSeries24: Time Series Dataset for Network Traffic Anomaly Detection and Forecasting
CESNET a.l.e.;Czech Technical University in Prague(布拉格捷克理工大学)
本文提出CESNET-TimeSeries24数据集,基于CESNET3网络中27.5万个活跃IP地址40周的流量构建,旨在填补大规模真实网络数据空白,为基于预测的异常检测方法提供真实评估基准。
2024-09-27 cs.AI cs.LG
Quantile Convolutional Neural Networks for Value at Risk Forecasting
University of Debrecen(德布勒森大学)
本文提出了一种新的风险价值预测方法。卷积神经网络可以进行时间序列预测,因为它们可以及时学习局部模式。一个简单的修改使他们能够预测的不是平均值,但分布的任意分位数,从而使他们能够应用于风险值预测。该模型可以从不同资产的价格历史中学习,并且似乎可以产生相当准确的预测。
2020-09-30 cs.LG q-fin.CP stat.ML
Forecasting the production of Distillate Fuel Oil Refinery and Propane Blender net production by using Time Series Algorithms
Politecnico di Milano(米兰理工大学);AzaTec(AzaTec公司);Walmart Global Tech India(沃尔玛印度全球技术公司)
石油产量预测是控制成本效益和监测油藏功能的重要步骤。因此,石油产量预测使油藏工程师更容易开发可行的项目,这有助于避免风险投资并实现长期增长。因此,可靠的油气藏预测是控制和管理油气藏有效成本的关键。石油产量受储层性质的影响,如孔隙度、渗透率、压缩性、流体饱和度和其他油井操作参数。三时间序列算法,即,季节性朴素法、指数平滑法和ARIMA预测未来两年馏分燃料油精炼厂和丙烷混合器的净产量。
2022-06-04 cs.AI cs.LG
A Study on Graph-Structured Recurrent Neural Networks and Sparsification with Application to Epidemic Forecasting
UC Irvine(加州大学尔湾分校);UCLA(加州大学洛杉矶分校)
我们研究了流行病预测的真实世界的健康数据的图形结构的递归神经网络(GSRNN)。我们在基准CDC数据集上实现了最先进的预测精度。为了提高模型效率,我们通过变换- $\ell_1$惩罚来稀疏网络权重,并在70%的网络权重为零的情况下保持相同的预测精度。
2019-02-13 cs.LG math.OC stat.ML
Time Series Forecasting Using LSTM Networks: A Symbolic Approach
The University of Manchester(曼彻斯特大学)
在原始数值时间序列数据上训练的机器学习方法表现出基本的局限性,例如对超参数甚至对随机权重的初始化的高敏感性。提出了一种递归神经网络与降维符号表示相结合的方法,并将其应用于时间序列预测。结果表明,符号表示可以帮助缓解上述问题中的一些,此外,可以允许更快的训练,而不牺牲预测性能。
2020-03-12 cs.LG stat.ML
TREA-Net: A Transferable Residual Epidemiological Adaptation Network for Dengue Incidence Forecasting
针对新监测系统数据不足的登革热预测问题,提出TREA-Net模型,结合环境时间序列SIR模型与轻量门控残差修正,跨区域迁移知识,在多数据集上提升预测性能,是适用于数据有限机构的预警框架。
2026-07-30 cs.LG q-bio.QM
cs-net: structural approach to time-series forecasting for high-dimensional feature space data with limited observations
Boston University(波士顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Dartmouth College(达特茅斯学院)
近年来,基于深度学习的方法已被引入解决时间序列预测相关问题。这些新方法在单变量和低维多变量时间序列预测任务中表现出令人印象深刻的性能。然而,当这些新方法被用来处理高维多变量预测问题时,它们的性能受到实际训练时间和合理的GPU内存配置的高度限制。在本文中,灵感来自希尔伯特空间中的基础的变化,我们提出了一个灵活的数据特征提取技术,擅长高维多变量预测任务。我们的方法最初是为美国国家科学基金会(NSF)的威胁检测算法(ATD)2022挑战而开发的。使用注意力机制和卷积神经网络(CNN)架构实现,我们的方法表现出很好的性能和兼容性。我们在GDELT数据集上训练的模型在ATD sprint系列中获得了第一名和第二名,并有望用于其他时间序列预测数据集。
2022-12-05 cs.LG eess.SP
Correlated Time Series Forecasting using Deep Neural Networks: A Summary of Results
Aalborg University(奥尔堡大学)
网络物理系统通常由随着时间的推移相互作用的实体组成。与此同时,作为工业过程持续数字化的一部分,各种传感器技术被部署,使我们能够记录时变属性(也称为,时间序列),从而产生相关的时间序列。为了能够对这种相关的时间序列进行准确的预测,本文提出了两种模型,结合卷积神经网络(CNN)和递归神经网络(RNN)。第一个模型在每个单独的时间序列上使用CNN,组合卷积特征,然后在卷积特征之上应用RNN,以实现预测。第二个模型将额外的自动编码器添加到各个CNN中,使第二个模型成为多任务学习模型,提供准确和强大的预测。在两个真实的相关时间序列数据集上的实验表明,所提出的两个模型是有效的,在大多数情况下优于基线。本报告通过提供额外的实验结果,扩展了ACM CIKM 2018上发表的论文“使用多任务深度神经网络进行相关时间序列预测”。
2018-08-30 cs.LG stat.ML
Short-term Streamflow and Flood Forecasting based on Graph Convolutional Recurrent Neural Network and Residual Error Learning
Georgia Institute of Technology(佐治亚理工学院);The University of Sydney(悉尼大学)
针对水位流量关系曲线数据误差影响预报精度的问题,本研究提出结合图卷积循环神经网络捕捉时空模式与残差学习修正误差的方法,提升1-6小时短期径流与洪水预报准确性,降低洪水风险。
2024-12-06 cs.AI cs.LG physics.geo-ph
Short-term Load Forecasting with Dense Average Network
Central South University(中南大学);Caledonian University(喀里多尼亚大学)
电力负荷预测作为电力系统的重要组成部分,直接影响着国民经济的发展。数据显示,将负荷预测精度提高0.01%,可以为电力行业节省数百万美元。因此,提高电力负荷预测的精度一直是电力系统追求的目标。基于这一目标,本文提出了一种新的连接,密集平均连接,其中所有前一层的输出被平均作为下一层的输入,以前馈的方式。基于稠密平均连接,构造了用于电力负荷预测的稠密平均网络。对两个公共数据集的预测结果表明,该模型优于现有方法。在此基础上,采用集成方法进一步提高了模型的精度。为了验证模型预测的可靠性,鲁棒性进行了分析和验证,通过添加输入干扰。实验结果表明,该模型对电力负荷预测是有效的和鲁棒的。
2020-05-29 cs.LG stat.ML
Traffic Graph Convolutional Recurrent Neural Network: A Deep Learning Framework for Network-Scale Traffic Learning and Forecasting
University of Washington(华盛顿大学);INRIX, Inc.(因瑞克斯公司)
交通预测是时空预测中一个极具挑战性的应用,因为交通模式是时变的,而且对道路网络的空间依赖性非常复杂。为了应对这一挑战,我们将交通网络作为一个图来学习,并提出了一种新的深度学习框架,即交通图卷积长短期记忆神经网络(TGC-LSTM),以学习交通网络中道路之间的相互作用,并预测整个网络的交通状态。我们定义了基于物理网络拓扑的流量图卷积。本文还讨论了所提出的业务图卷积与频谱图卷积之间的关系。在模型的损失函数中加入了图卷积权值的L1范数和图卷积特征的L2范数,以增强模型的可解释性。实验结果表明,该模型优于基线方法在两个现实世界的交通状态数据集。图卷积权重的可视化表明,该框架可以识别出现实世界中的交通网络中最有影响力的路段。
2019-11-05 cs.LG stat.ML
Long Short Term Memory Networks for Bandwidth Forecasting in Mobile Broadband Networks under Mobility
Simula Research Laboratory(Simula研究实验室);University of Thessaly(色萨利大学);University of Oslo(奥斯陆大学);Simula Metropolitan(Simula大都会中心)
移动宽带(MBB)网络中的带宽预测是一项具有挑战性的任务,特别是当与一定程度的移动性相结合时。在这项工作中,我们介绍了HINDSIGHT++,这是一个基于R的开源框架,用于在具有长短期记忆(LSTM)网络的MBB网络中进行带宽预测实验。我们仪器HINDSIGHT++以下自动机器学习(AutoML)的范例,首先,减轻数据预处理的负担,其次,提高性能相关的方面。我们主要专注于第五代(5G)网络的带宽预测。特别是,我们利用5Gophers,这是第一个在美国运营的5G网络上测量网络性能的开源尝试。我们使用NYU-METS进一步探索了第四代(4G)商业环境下的LSTM性能边界,NYU-METS是一个开源数据集,包含数百个跨越不同移动场景的带宽跟踪。我们的研究旨在研究超参数优化对实现最先进性能的影响。结果突出了其在5G场景下的重要性,与现有技术相比,平均绝对误差(MAE)降低了近30%。由于其通用的设计,我们认为,HINDSIGHT++可以作为一个方便的软件工具,在其他科学领域的众多应用。
2020-11-20 cs.LG cs.NI
A Market-Rule-Informed Neural Network for Efficient Imbalance Electricity Price Forecasting
Delft University of Technology(代尔夫特理工大学);Austrian Institute of Technology(奥地利技术研究院);London Business School(伦敦商学院);University of Technology Sydney(悉尼大学);The Chinese University of Hongkong (Shenzhen)(香港中文大学(深圳))
本文提出一种融合市场规则的神经网络框架,用于高效预测不平衡电力价格,通过减少训练参数和时间实现更可持续的工业能源交易预测。
2026-05-09 cs.LG q-fin.CP
A Memory-Network Based Solution for Multivariate Time-Series Forecasting
National Taiwan University(国立台湾大学);Riken-AIP(理化学研究所人工智能研究中心)
多变量时间序列预测在金融、交通、环境等领域得到了广泛的研究,但传统的预测方法无法对真实数据中的复杂模式或依赖关系进行建模,这引起了人们的关注。为了解决这些问题,提出了各种深度学习模型,主要是基于递归神经网络(RNN)的方法。然而,在有效纳入其他变量信息的同时,捕捉极长期的模式仍然是时间序列预测的一个挑战。此外,缺乏可解释性仍然是深度神经网络模型的一个严重缺点。受记忆网络解决问答任务的启发,我们提出了一个基于深度学习的模型,名为记忆时间序列网络(MTNet),用于时间序列预测。MTNet由一个大内存组件、三个独立的编码器和一个自回归组件组成,用于联合进行训练。此外,设计的注意力机制使MTNet具有高度的可解释性。我们可以很容易地判断出历史数据的哪一部分被引用得最多。
2018-09-06 cs.LG stat.ML
Graph-Partitioning-Based Diffusion Convolutional Recurrent Neural Network for Large-Scale Traffic Forecasting
Argonne National Laboratory(阿贡国家实验室);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
交通预测方法是制定适应性战略的流动性至关重要。交通模式具有复杂的空间和时间依赖性,这使得大型公路网络的准确预测成为一项具有挑战性的任务。最近,扩散卷积递归神经网络(DCRNNs)已经取得了国家的最先进的结果,通过捕捉交通的时空动态的交通预测。尽管有希望的结果,但是,由于计算和内存瓶颈,将DCRNN应用于大型公路网络仍然是难以捉摸的。我们提出了一种方法来实现一个大型公路网,克服了这些限制的DCRNN。我们的方法使用图分区方法将大型公路网络分解为较小的网络并独立训练它们。我们证明了基于图分区的DCRNN方法的有效性,在一个大型的加利福尼亚州高速公路网络与11,160个传感器位置的交通模型。我们开发了一个重叠的节点的方法,基于图分区的DCRNN包括传感器位置从分区,地理上接近一个给定的分区。此外,我们证明了DCRNN模型可以用来预测的速度和流量同时和预测值保持基本的交通流动态。我们开发代表大型公路网络的DCRNN模型的方法可以成为先进公路交通监控系统的潜在核心能力,其中经过训练的DCRNN模型预测所有传感器位置的交通,可用于根据预期的未来条件主动调整交通管理策略。
2020-04-20 cs.LG stat.ML
Auxiliary Quantile Forecasting with Linear Networks
University of Hildesheim(希尔德斯海姆大学)
我们提出了一种新的多任务方法,用于共享线性层的分位数预测。我们的方法是基于隐式分位数学习方法,其中来自均匀分布$\mathcal{U}(0, 1)$的样本被重新参数化为目标分布的分位数值。我们结合隐式分位数和输入时间序列表示,直接预测多个分位数估计多个视野联合。先前的工作已经采用了线性层,用于在多任务学习设置中直接估计所有预测范围。我们表明,根据多任务学习的类似直觉,利用预测范围之间的相关性,我们可以为每个预测范围建模多个分位数估计作为辅助任务,以提高分位数估计的预测准确性,而不是仅建模单个分位数估计。我们发现学习辅助分位数任务导致确定性预测基准的最先进的性能,关于预测50 $^{th}$百分位估计的主要任务。
2022-12-05 cs.LG stat.ME
LightningNet: Distributed Graph-based Cellular Network Performance Forecasting for the Edge
Technical University of Crete(克里特技术大学);Telefónica Research(西班牙电信研究院);Virginmedia O2 UK(维珍媒体O2英国公司)
本文提出轻量级分布式图框架LightningNet,用于蜂窝网络性能预测,能捕捉时空依赖,在保持资源开销相近的同时稳定超越现有方法,并特别适配物联网与边缘设备。
2024-02-08 cs.LG cs.NI
Electricity Load Forecasting -- An Evaluation of Simple 1D-CNN Network Structures
Regensburg Universität(雷根斯堡大学);OTH Regensburg(雷根斯堡应用技术大学)
本文提出了一种卷积神经网络(CNN),可用于预测未来36小时的电力负荷曲线。与成熟的CNN架构相比,输入数据是一维的。对网络参数进行参数扫描,以获得关于核大小、滤波器数目和密集大小的影响的信息。结果表明,用基本的CNN结构可以实现良好的预测质量,该方法不仅适用于数百个用户的平滑和负荷,而且适用于公寓楼的负荷。
2019-11-26 cs.LG stat.ML
Deep multi-stations weather forecasting: explainable recurrent convolutional neural networks
Maastricht University(马斯特里赫特大学)
由于数据驱动模型取得的进展,应用于天气预报的深度学习开始受到欢迎。本文比较了两种不同的深度学习架构,对从欧洲18个城市收集的15年内的每日数据进行天气预测。我们提出了深度注意单流多流(DAUM)网络,它研究了不同类型的输入表示(即张量单流与多流)以及注意力机制的结合。特别是,我们表明,在模型中添加自我注意块提高了整体预测性能。此外,可视化技术,如遮挡分析和得分最大化,用于提供对最重要的功能和城市的额外见解,用于预测目标城市的特定目标功能。
2021-02-10 cs.LG stat.ML
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Agriculture & Food, CSIRO(澳大利亚联邦科学与工业研究组织农业与食品部)
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是,整个架构是时不变的(在空间域中的平移不变)或静止的。我们认为,时间不变性可以降低执行多步预测的能力,其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet,它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出,我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
Beyond S-curves: Recurrent Neural Networks for Technology Forecasting
EPFL(洛桑联邦理工学院);Cyber-Defence Campus, armasuisse Science and Technology(瑞士联邦国防采购局科技网络防御园区);University of Geneva(日内瓦大学);University of Applied Sciences of Western Switzerland(瑞士西部应用科学大学)
由于技术领域的巨大异质性和复杂性,建立准确的预测模型是一项具有挑战性的工作。由于S曲线在许多复杂系统中的普遍性,S曲线在以前的工作中是一种流行的预测方法。然而,他们的预测性能还没有直接比较其他技术预测方法。此外,声称可提高预测准确性的时间序列预测的最新发展尚未应用于技术发展数据。这项工作通过比较S曲线的预测性能与基线,并通过开发一种采用机器学习和时间序列预测最新进展的autencoder方法,解决了这两个研究差距。S曲线预测在很大程度上表现出与简单ARIMA基线相当的平均百分比误差(MAPE)。然而,对于少数新兴技术,MAPE增加了两个数量级。我们的自动编码器方法比第二好的结果平均提高了13.5%。它以与其他方法相同的精度预测现有技术。然而,它在预测新兴技术方面尤其强大,平均MAPE比下一个最佳结果低18%。我们的研究结果表明,一个简单的ARIMA模型是更可取的技术预测的S曲线。寻求更准确预测的从业者应该选择自动编码器方法。
2022-11-28 cs.CY cs.LG
Error-feedback stochastic modeling strategy for time series forecasting with convolutional neural networks
Huazhong University of Science and Technology(华中科技大学)
尽管卷积神经网络在时间序列建模和预测方面表现出了优越性,但在神经网络结构的设计和超参数的调整方面还没有得到充分的探索。受随机多层感知器增量构造策略的启发,提出了一种新的误差反馈随机建模(ESM)策略来构造用于时间序列预测任务的随机卷积神经网络(ESM-CNN),该策略自适应地构造网络结构. ESM策略建议在构建过程中逐步增加误差反馈全连接层的随机滤波器和神经元,以稳定地补偿预测误差,然后引入滤波器选择策略,使ESM-CNN能够提取不同大小的时间特征,在每次迭代过程中为预测提供有用的信息。ESM-CNN的性能分别在一步和多步预测任务的预测精度上是合理的。在合成和真实世界数据集上的综合实验表明,所提出的ESM-CNN不仅优于最先进的随机神经网络,而且与训练的最先进的深度神经网络模型相比,具有更强的预测能力和更少的计算开销。
2022-02-11 cs.LG stat.ML
Probabilistic Forecasting with Temporal Convolutional Neural Network
Bigo Inc.(Bigo公司);Beihang University(北京航空航天大学);IBM China CIC(IBM中国创新中心);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出了一种基于卷积神经网络的概率预测框架,用于多个相关时间序列的预测。该框架可以应用于估计参数和非参数设置下的概率密度。更具体地说,基于扩张的因果卷积网的堆叠的残差块被构造成捕获序列的时间依赖性。结合表征学习,我们的方法能够学习复杂的模式,如季节性,系列内和跨系列的假日效应,并利用这些模式进行更准确的预测,特别是当历史数据稀疏或不可用时。在几个真实世界的数据集上进行了广泛的实证研究,包括来自中国最大的在线零售商JD.com的数据集。结果表明,我们的框架优于其他国家的最先进的方法在准确性和效率。
2020-03-16 cs.LG stat.ML
MPPN: Multi-Resolution Periodic Pattern Network For Long-Term Time Series Forecasting
China Mobile Research Institute(中国移动研究院)
针对长期时间序列预测中现有方法模式噪声多、可解释性差、忽略多变量个体特征的问题,提出MPPN架构,通过多分辨率语义单元、多周期模式挖掘、通道自适应模块及熵基可预测性评估方法,在9个基准上性能超越现有最优方法。
2023-06-12 cs.LG stat.ML
Impact of Data Normalization on Deep Neural Network for Time Series Forecasting
在过去的几年里,已经观察到深度神经网络(DNN)在图像分类、语音识别方面取得了巨大的成功。但是DNN在时间序列预测方面面临着巨大的挑战,因为大多数时间序列数据本质上是非线性的,并且行为是高度动态的。时间序列预测对我们的社会经济环境有很大的影响。因此,为了应对这些挑战,需要重新定义DNN模型,并记住这一点,在将数据馈送到DNN模型之前,需要考虑数据预处理,网络架构和网络参数。数据规范化是学习所采用的基本数据预处理技术。时间序列预测的有效性在很大程度上取决于数据归一化技术。在本文中,在将数据输入DNN模型之前,对时间序列数据使用不同的归一化方法,我们试图找出每种归一化技术对DNN预测时间序列的影响。本文采用深度递归神经网络(DRNN),利用孟买证券交易所(BSE)和纽约证券交易所(NYSE)的时间序列数据,对BSE和NYSE的收盘指数进行了预测。
2019-01-07 cs.LG stat.ML
Demand Forecasting from Spatiotemporal Data with Graph Networks and Temporal-Guided Embedding
POSTECH(浦项科技大学);Statice GmbH(Statice有限公司);Kakao Brain;Kakao Mobility
短期需求预测模型通常结合卷积层和递归层来提取数据中复杂的时空模式。长期历史也被用来考虑作为时间序列数据的周期性和季节性模式。在本研究中,我们提出了一种高效的架构,即时间引导网络(TGNet),它利用图网络和时间引导嵌入。图网络将不变特征提取到相邻区域的排列中,而不是卷积层。时间引导的嵌入从训练数据中显式地学习时间上下文,并替换来自数天/数周前的长期历史的输入。TGNet学习自回归模型,该模型以时间引导嵌入的预测目标的时间背景为条件。最后,我们的模型在来自现实世界的三个时空需求数据集上实现了与其他基线竞争的性能,但可训练参数的数量比最先进的基线小约20倍。我们还表明,时间引导嵌入学习时间上下文的预期和TGNet具有强大的预测性能,即使是非典型事件的情况。
2019-10-07 cs.LG stat.ML
Advancing operational PM2.5 forecasting with dual deep neural networks (D-DNet)
Resource Geophysics Academy, Imperial College London(帝国理工学院资源地球物理学院);Department of Earth Science and Engineering, Imperial College London(帝国理工学院地球科学与工程系);European Centre for Medium-Range Weather Forecast(欧洲中期天气预报中心);Department of Scientific Computing, Florida State University(佛罗里达州立大学科学计算系)
针对传统物理模型计算量大及深度学习模型误差累积问题,提出双深度神经网络(D-DNet)预测与数据同化系统,高效整合实时观测,在保持与CAMS 4D-Var系统相当精度的同时显著提升了PM2.5业务化预报效率。
2024-06-27 cs.LG physics.ao-ph
Incorporating dynamicity of transportation network with multi-weight traffic graph convolutional network for traffic forecasting
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
交通量预测问题由于其时空复杂性,一直是智能交通系统中的一个具有挑战性的课题。虽然时间依赖性已经得到了很好的研究和讨论,空间依赖性是相对较少的探讨,由于其巨大的变化,特别是在城市环境。在这项研究中,提出了一种新的图卷积网络模型,多权重交通图卷积(MW-TGC)网络,并应用于两个城市网络的对比几何约束。该模型对速度数据进行多加权邻接矩阵的图卷积运算,以组合速度限制、距离和角度等特征。在组合特征上进行空间隔离的降维操作,以学习特征之间的依赖关系,并将输出的大小减小到计算上可行的水平。多权重图卷积的输出应用于具有长短期记忆单元的序列到序列模型,以学习时间依赖性。当应用到两个城市网站,城市核心和城市混合,MW-TGC网络不仅优于比较模型在这两个网站,但也减少了异质城市混合网络的方差。我们的结论是,MW-TGC网络可以提供一个强大的交通预测性能在空间复杂性的变化,这可能是一个强大的优势,在城市交通预测。
2021-05-26 cs.LG stat.ML
DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks
Amazon Research(亚马逊研究院)
概率预测,即在给定时间序列的过去的情况下估计时间序列的未来的概率分布,是优化业务流程的关键使能器。例如,在零售业务中,预测需求对于在正确的时间在正确的地点提供正确的库存至关重要。在本文中,我们提出了DeepAR,这是一种基于大量相关时间序列训练自回归递归网络模型来生成准确概率预测的方法。我们展示了如何通过将深度学习技术应用于预测,人们可以克服广泛使用的经典方法所面临的许多挑战。我们通过对几个真实世界的预测数据集进行广泛的实证评估,与最先进的方法相比,准确性提高了约15%。
2019-02-22 cs.AI cs.LG stat.ML
Graph Markov Network for Traffic Forecasting with Missing Data
University of Washington(华盛顿大学);Beihang University(北京航空航天大学)
交通预测是交通管理的一项经典任务,在智能交通系统中起着重要的作用。然而,由于交通数据主要由交通传感器或探测车辆收集,传感器故障和探测车辆的缺乏将不可避免地导致在交通网络中的某些特定链路的收集的原始数据中的缺失值。虽然缺失值可以插补,现有的数据插补方法通常需要长期的历史交通状态数据。对于短期流量预测,特别是在边缘计算和在线预测场景下,需要具有处理缺失值能力的流量预测模型。在这项研究中,我们认为交通网络作为一个图形和定义之间的过渡网络范围内的交通状态在连续的时间步长作为一个图形马尔可夫过程。通过这种方式,可以逐步推断出缺失的交通状态,并可以合并道路链路之间的时空关系。基于图马尔可夫过程,提出了一种新的时空数据预测神经网络结构,即图马尔可夫网络(GMN)。通过引入谱图卷积运算,我们还提出了一种谱图马尔可夫网络(SGMN)。所提出的模型与基线模型进行了比较,并在三个真实世界的交通状态数据集与各种缺失率进行了测试。实验结果表明,所提出的GMN和SGMN可以实现优越的预测性能,在准确性和效率。此外,所提出的模型的参数,权重和预测结果进行了全面的分析和可视化。
2019-12-10 cs.LG eess.SP
A Multi-variable Stacked Long-Short Term Memory Network for Wind Speed Forecasting
Texas Tech University(德克萨斯理工大学)
准确预测风速对于风力发电厂和电网运营商至关重要。然而,由于风速的随机性,这项任务是具有挑战性的。为了在不确定性条件下准确预测短期风速,提出了一种多变量叠加LSTM模型(MSLSTM)。所提出的方法利用多个历史气象变量,如风速,温度,湿度,压力,露点和太阳辐射,以准确地预测风速。使用在美国西德克萨斯州收集的实际数据,预测性能进行了广泛的评估。实验结果表明,该方法能较好地捕捉和学习不确定性,并能输出具有竞争力的性能.
2018-11-24 cs.LG stat.ML