RePST: Language Model Empowered Spatio-Temporal Forecasting via Semantic-Oriented Reprogramming
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学);Shandong University(山东大学);Oxford University(牛津大学);Beihang University(北航大学)
针对数据稀缺下时空预测难题,提出语义导向重编程框架RePST,利用预训练语言模型,通过分解与离散化提升预测性能,优于十二种基线。
2025-06-23 cs.AI cs.CL cs.LG
GenTKG: Generative Forecasting on Temporal Knowledge Graph with Large Language Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
针对时序知识图谱预测现有方法的局限,提出融合时序逻辑规则检索与少样本参数高效微调的GenTKG生成框架,仅用少量样本即超越传统方法,且具备强跨域与域内泛化能力。
2024-04-16 cs.AI cs.CL cs.LG
Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecasting
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Huazhong University of Science and Technology(华中科技大学)
多变量时间序列(MTS)预测在广泛的应用中起着至关重要的作用。最近,时空图神经网络(STGNNs)由于其最先进的性能而成为越来越受欢迎的MTS预测方法。然而,最近的作品变得越来越复杂,有限的性能改进。这一现象促使我们探索MTS预测的关键因素,并设计一个与STGNN一样强大,但更简洁有效的模型。在本文中,我们确定在空间和时间维度的样本的不可重复性作为一个关键的瓶颈,并提出了一个简单而有效的基线MTS预测附加空间和时间标识信息(STID),实现了最佳的性能和效率同时基于简单的多层感知器(MLP)。这些结果表明,我们可以设计高效和有效的模型,只要它们解决了样本的不可分辨性,而不限于STGNN。
2022-08-19 cs.LG
A Temporal Knowledge Graph for Music Festival Lineup Forecasting
University of Mannheim(曼海姆大学)
提出一个覆盖55年380个音乐节、含9万多个演出四元组的时间知识图谱,将阵容预测形式化为时间链接预测,评估六种TKG模型并与零样本LLM对比,为TKG预测提供真实应用基准。
2026-09-22 cs.LG
STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting
Southern University of Science and Technology(南方科技大学);The University of Tokyo(东京大学);University of Technology Sydney(悉尼科技大学)
针对交通预测中捕捉复杂时空模式的难题,本研究提出时空自适应嵌入组件,搭配普通Transformer构建的STAEformer在5个真实数据集上达SOTA,验证了该嵌入在捕捉时空关联与时序信息上的关键作用。
2023-10-08 cs.LG
SYNAPSE: Empowering LLM Agents with Episodic-Semantic Memory via Spreading Activation
School of Computing, University of Georgia(佐治亚大学计算机学院);Department of Biosystems Engineering and Soil Science, University of Tennessee(田纳西大学生物系统工程与土壤科学系);Department of Biomedical Informatics, University of Colorado School of Medicine(科罗拉多医学院生物医学信息学系);Department of Biomedical Engineering, New Jersey Institute of Technology(新泽西理工学院生物医学工程系);Department of Physics and Astronomy, The University of Georgia(佐治亚大学物理与天文学系)
SYNAPSE通过动态图与扩散激活机制,提升LLM在复杂时间序列和多跳推理任务中的性能,解决上下文隧道问题。
2026-02-16 cs.CL
TMAML: Temporal Model-Agnostic Meta-Learning for Cold-Start Time Series Forecasting
Ghent University(根特大学)
针对冷启动时间序列预测,提出时间模型无关元学习(TMAML),通过构建时间一致的元任务并优化模型,使预测模型在少数据下快速适应,实证表明其优于或匹配标准训练模型。
2026-10-06 cs.LG
Series Saliency: Temporal Interpretation for Multivariate Time Series Forecasting
Tsinghua University(清华大学)
时间序列预测是一项重要而又具有挑战性的任务。虽然最近开发了深度学习方法来提供更好的预测结果,但提高时间序列模型的可解释性至关重要。以往的解释方法,包括一般的神经网络方法和基于注意力的方法,主要考虑特征维度的解释,而忽略了关键的时间维度。本文提出了多元时间序列预测时间解释的序列显著性框架,该框架考虑了特征和时间两个维度的预测解释。通过从时间序列的滑动窗口中提取“序列图像”,我们应用显著图分割遵循最小破坏区域的原则。序列显着性框架可以用于任何定义良好的深度学习模型,并作为数据增强来获得更准确的预测。几个真实数据集上的实验结果表明,我们的框架产生的时间序列预测任务的时间解释,同时产生准确的时间序列预测。
2020-12-16 cs.AI cs.LG
Empowering Large Language Model for Continual Video Question Answering with Collaborative Prompting
Nanyang Technological University(南洋理工大学)
针对持续学习场景下微调大语言模型易出现灾难性遗忘的问题,提出整合三类提示的协作提示方法ColPro,在两个视频问答数据集上取得了优于现有方法的性能。
2025-01-17 cs.CL cs.CV
Trio: Learning Time-Series Forecasting with Temporal-Spatial-Sample Attention and Structural Causal Priors
Nanyang Technological University(南洋理工大学)
提出Trio架构,通过时间、空间和样本三种注意力机制分别捕获时序动态、变量间依赖和历史样本对应,并引入时间序列结构因果模型生成合成任务以提供结构先验,提升多变量时间序列预测性能。
2026-06-05 cs.LG
Towards Non-Stationary Time Series Forecasting with Temporal Stabilization and Frequency Differencing
DTAF通过时域稳定化与频域差分方法,提升非平稳时间序列预测的鲁棒性和准确性。
2025-11-27 cs.LG
FasterSTS: A Faster Spatio-Temporal Synchronous Graph Convolutional Networks for Traffic flow Forecasting
Wuhan University of Technology(武汉理工大学);Zhejiang Sci-Tech University(浙江理工大学)
针对现有交通流预测方法时空建模分离且复杂度高的问题,提出更快速有效的时空同步图卷积网络FasterSTS,以提升预测性能并控制模型复杂度。
2025-01-01 cs.LG
Improving Coherence in Hierarchical Time Series Forecasting using Structured Temporal Fusion
提出层次时间融合(HTF)模型,通过结构化层次嵌入和一致性损失函数,在训练中直接嵌入一致性约束,同时建模时间动态和结构一致性,在M5和能源数据集上降低不一致性并提升预测精度。
2026-06-26 cs.LG
Towards Spatio-Temporal Aware Traffic Time Series Forecasting--Full Version
Aalborg University(奥尔堡大学);Monash University(莫纳什大学)
交通时间序列预测是具有挑战性的,因为来自不同位置的复杂时空动态时间序列通常具有不同的模式;并且对于相同的时间序列,模式可能随时间而变化,例如,在一天中存在显示出更强的时间相关性的某些时段。尽管最近的预测模型,特别是基于深度学习的模型,显示出有希望的结果,但它们受到时空不可知论的影响。这样的时空不可知模型采用共享参数空间,而不管时间序列位置和时间段,并且它们假设时间模式在位置之间是相似的,并且不会在时间上演变,这可能并不总是成立,从而导致次优结果。在这项工作中,我们提出了一个框架,旨在把时空不可知模型时空感知模型。为此,我们将来自不同位置的时间序列编码为随机变量,从中生成特定于位置和随时间变化的模型参数,以更好地捕捉时空动态。我们展示了如何整合的框架与规范的注意,使时空意识的注意。其次,为了补偿时空感知模型参数生成过程中引入的额外开销,提出了一种新的窗口注意机制,将复杂度从二次降低到线性,使得时空感知注意也具有竞争效率.我们在四个交通时间序列数据集上展示了强有力的经验证据,其中所提出的时空感知注意力在准确性和效率方面优于最先进的方法。这是“Towards Spatio-Temporal Aware Traffic Time Series Forecasting”的扩展版本,将出现在ICDE 2022 [1]中,包括其他实验结果。
2022-04-05 cs.LG
F2STNet: Fair and Federated Spectral-Temporal Modeling for Graph Forecasting
University of Nottingham(诺丁汉大学);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);The Hong Kong Polytechnic University(香港理工大学)
针对图结构数据时空预测面临的去中心化异构数据问题,提出结合截断图傅里叶特征等的F²STNet框架,引入FFA调整FedAvg先验,在多个数据集上取得良好预测精度并优化联邦学习的客户端相关指标。
2026-08-11 cs.LG
RPMixer: Shaking Up Time Series Forecasting with Random Projections for Large Spatial-Temporal Data
Visa Research(Visa研究中心)
本文提出全 MLP 架构 RPMixer,通过随机投影层增强残差模块输出多样性,使不依赖空间关系的通用时间序列模型在大型时空预测基准上超过图模型与通用预测方法。
2024-06-12 cs.AI cs.LG
TimeGNN: Temporal Dynamic Graph Learning for Time Series Forecasting
KTH(瑞典皇家理工学院)
TimeGNN 通过动态时序图表示捕捉多元时间序列间模式的演化与相关性,在保持可比预测性能的同时将推理速度提升 4 至 80 倍。
2023-11-30 cs.LG
Temporal-Spatial dependencies ENhanced deep learning model (TSEN) for household leverage series forecasting
Central University of Finance and Economics(中央财经大学);Beijing Wuzi University(北京物资学院)
由于时空动态的复杂性,分析时间和空间模式以建立准确的金融时间序列预测模型是一项挑战:来自不同位置的时间序列通常具有不同的模式;对于同一时间序列,模式可能会随着时间的推移而变化。受深度学习成功应用的启发,本文提出了一个新的模型来解决中国家庭杠杆率的预测问题。我们的解决方案由多个基于RNN的层和一个注意层组成:每个基于RNN的层自动学习具有多变量外生序列的特定序列的时间模式,然后注意层学习空间相关权重并同时获得全局表示。结果表明,新方法能较好地捕捉到居民杠杆率的时空动态变化,预测结果更加准确可靠。此外,仿真研究还表明,聚类和选择相关序列是必要的,以获得准确的预测结果。
2022-10-17 cs.LG stat.ML
Demand Forecasting from Spatiotemporal Data with Graph Networks and Temporal-Guided Embedding
POSTECH(浦项科技大学);Statice GmbH(Statice有限公司);Kakao Brain;Kakao Mobility
短期需求预测模型通常结合卷积层和递归层来提取数据中复杂的时空模式。长期历史也被用来考虑作为时间序列数据的周期性和季节性模式。在本研究中,我们提出了一种高效的架构,即时间引导网络(TGNet),它利用图网络和时间引导嵌入。图网络将不变特征提取到相邻区域的排列中,而不是卷积层。时间引导的嵌入从训练数据中显式地学习时间上下文,并替换来自数天/数周前的长期历史的输入。TGNet学习自回归模型,该模型以时间引导嵌入的预测目标的时间背景为条件。最后,我们的模型在来自现实世界的三个时空需求数据集上实现了与其他基线竞争的性能,但可训练参数的数量比最先进的基线小约20倍。我们还表明,时间引导嵌入学习时间上下文的预期和TGNet具有强大的预测性能,即使是非典型事件的情况。
2019-10-07 cs.LG stat.ML
Time Series Network Utilization KPI Forecasting Using Advanced AI/ML Models
研究针对数据密集型应用等导致的网络性能问题,通过评估季节性分解等多种模型,利用通用接口数据集在MAPE等指标上进行基准测试,给出模型准确性与计算效率权衡的见解,助相关人员选最佳预测模型。
2026-07-23 cs.AI cs.LG
NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting
虽然Transformer在广泛的领域特别是自然语言处理(NLP)领域取得了突破性的成功,但将其应用于时间序列预测仍然是一个巨大的挑战。在时间序列预测中,对标准Transformer模型进行自回归解码不可避免地会引入巨大的累积误差。此外,利用Transformer处理问题中的时空依赖性仍然面临着困难。为了解决这些限制,这项工作是第一次尝试提出一个非自回归Transformer架构的时间序列预测,旨在克服时间延迟和累积误差的问题,在规范的Transformer。此外,本文提出了一种新的时空注意力机制,通过学习的时间影响图来搭建一座桥梁,填补时空注意力之间的空白,从而实现时空依赖的一体化处理。从经验上讲,我们在以自我为中心的多样化未来定位数据集上评估了我们的模型,并在实时性和准确性方面展示了最先进的性能。
2021-05-29 cs.LG stat.ML
Enhancing Epidemic Forecasting: Evaluating the Role of Mobility Data and Graph Convolutional Networks
本研究针对机器学习算法在真实疫情预测中因移动信息整合难表现不佳的问题,采用两阶段方法评估移动数据与GCN对Transformer模型的作用,发现死亡率和住院率数据可显著提升精度,且GCN空间图与封控令相关,为传染病预测建模提供新视角。
2025-05-20 cs.AI cs.LG
Temporally Unified Adversarial Perturbations for Time Series Forecasting
本文提出时间统一对抗扰动方法,通过时间一致性约束和梯度累积方法提升时间序列预测模型的对抗攻击效果。
2026-02-12 cs.LG
Spatial-Temporal Graph Convolutional Gated Recurrent Network for Traffic Forecasting
Nanjing University(南京大学)
交通预测作为智能交通系统的重要组成部分,引起了学术界和工业界的极大关注。尽管人们提出了许多交通预测方法,但对复杂的时空相关性建模仍然是一个难题。时间依赖包括短期依赖和长期依赖,后者往往被忽视。空间依赖可以分为基于距离的空间依赖和隐藏的空间依赖。为了模拟复杂的时空依赖性,我们提出了一种新的框架,称为时空图卷积门递归网络(STGCGRN)的流量预测。我们设计了一个注意力模块,通过挖掘流量数据中的周期性信息来捕获长期依赖。本文提出了一种双图卷积门控递归单元(DGCGRU),它将图卷积网络和GRU相结合,来捕获空间依赖性。图卷积部分分别用基于距离的预定义邻接矩阵和自适应邻接矩阵对基于距离的空间依赖和隐藏的空间依赖进行建模。特别地,我们采用多头机制来捕获多个隐藏的依赖关系。此外,每个预测节点的周期模式可能不同,这往往被忽略,导致在建模空间依赖性时节点之间的周期信息相互干扰。为此,我们探索了模型的体系结构,并提高了性能。在四个数据集上的实验证明了该模型的优越性能。
2022-10-06 cs.LG
Spatio-temporal DeepKriging in PyTorch: A Supplementary Application to Precipitation Data for Interpolation and Probabilistic Forecasting
School of Mathematics and Applied Statistics, University of Wollongong, Australia(数学与应用统计学系,沃林戈恩大学,澳大利亚)
本文基于PyTorch平台实现时空深度克里金(STDK)框架,用于欧洲降水数据的插值与多步预测,并提供可复现代码模块,验证了该方法在处理时空不规则性时的预测性能与鲁棒性。
2025-09-16 cs.LG stat.AP
Toward Better Temporal Structures for Geopolitical Events Forecasting
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文提出超关系时间知识泛化超图(HTKGHs)以提升地缘政治事件预测,构建htkgh-polecat数据集并分析LLMs在复杂预测任务中的表现。
2026-03-17 cs.CL
Ozone level forecasting in Mexico City with temporal features and interactions
Universidad Autónoma Metropolitana-Iztapalapa(墨西哥自治大学伊兹塔帕拉帕分校)
本研究通过比较多种回归模型,发现在墨西哥城臭氧水平预测中纳入时间特征和交互作用能提高模型准确性。
2024-11-04 cs.LG stat.AP
Tackling Time-Series Forecasting Generalization via Mitigating Concept Drift
Georgia Institute of Technology(佐治亚理工学院)
本文提出ShifTS框架,通过统一处理时间序列中的时间漂移和概念漂移,提升预测准确性。
2026-03-25 cs.LG
DSTCGCN: Learning Dynamic Spatial-Temporal Cross Dependencies for Traffic Forecasting
Zhejiang University(浙江大学)
提出DSTCGCN动态时空交叉图卷积网络,通过基于FFT的注意力选择器和动态交叉图构建模块联合学习时空交叉依赖,在六个真实数据集上实现最优交通预测性能。
2023-07-02 cs.AI cs.LG
MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Huawei Technologies Ltd.(华为技术有限公司)
多元时间序列预测在各种实际场景中得到了广泛的应用。最近,由于捕获了长期依赖关系,基于Transformer的模型在预测任务方面表现出了巨大的潜力。然而,最近在视觉和NLP领域的研究表明,注意力模块的作用并不明确,这可以被其他令牌聚合操作所取代。本文研究了注意力机制对时间序列预测性能的贡献和不足。具体而言,我们发现(1)注意力对于捕获时间依赖性是不必要的,(2)捕获时间和信道交互中的纠缠和冗余影响预测性能,以及(3)重要的是对输入和预测序列之间的映射进行建模。为此,我们提出了MTS混合器,它使用两个分解模块来捕获时间和通道依赖性。在几个真实数据集上的实验结果表明,MTS-Mixers的性能优于现有的基于Transformer的模型,具有更高的效率。
2023-02-09 cs.AI cs.LG
A Spatio-Temporal Spot-Forecasting Framework for Urban Traffic Prediction
Artificial Intelligence Department Universidad Nacional de Educación a Distancia — UNED(西班牙马德里国立远程教育大学(UNED)人工智能系)
时空预测是一个开放的研究领域,其兴趣呈指数增长。在这项工作中,我们专注于为时空交通预测创建一个复杂的深度神经框架,该框架具有相对非常好的性能,并且显示出在几种时空条件下的适应性,同时保持易于理解和解释。我们的建议是基于一个可解释的注意力为基础的神经网络,其中几个模块相结合,以捕捉关键的时空时间序列组件。通过大量的实验,我们展示了我们的方法的结果是如何稳定的,比其他国家的最先进的替代品。
2020-04-01 cs.LG eess.SP stat.ML
Empowering Time Series Analysis with Large-Scale Multimodal Pretraining
East China Normal University, Shanghai, China(华东师范大学);HuaWei, ShenZhen, China(华为,深圳,中国)
本文提出HORAI模型,通过多模态预训练提升时间序列分析的泛化能力,实现零样本预测和异常检测的最优性能。
2026-02-05 cs.LG
Long Horizon Forecasting With Temporal Point Processes
IIT Bombay(印度理工学院孟买分校)
近年来,标记时间点过程(MTPPs)已成为一个强大的建模机制,在各种各样的应用中描述异步事件。MTPP在预测事件时间方面表现出了巨大的潜力,特别是对于在不久的将来到达的事件。然而,由于当前的设计选择,MTPP在预测遥远未来的事件到达时往往表现出较差的预测性能。为了改善这一限制,在本文中,我们设计了DualTPP,这是特别适合于长期事件预测。DualTPP有两个组成部分。第一个组件是强度自由MTPP模型,它通过对未来事件的时间进行建模来捕获事件动态的微观或颗粒级信号。第二个组件采取不同的双重视角,在给定的时间窗口内对事件的汇总计数进行建模,从而封装宏观事件动态。然后,我们开发了一个新的推理框架,联合在两个模型%,有效地预测长期事件,通过解决一系列的约束二次优化问题。一组不同的真实数据集的实验表明,DualTPP优于现有的MTPP方法的长期预测的大幅利润率,实现几乎一个数量级的减少Wasserstein距离之间的实际事件和预测。
2021-03-07 cs.LG
Low-Rank Temporal Attention-Augmented Bilinear Network for financial time-series forecasting
Aarhus University(奥胡斯大学)
金融市场分析,特别是股票价格走势的预测,是一个具有挑战性的问题。金融时间序列数据的非平稳性和非线性是这些挑战的主要原因。深度学习模型已经在来自不同领域的许多问题中带来了显着的性能改进,包括金融时间序列数据的预测问题。虽然预测性能是这类模型的主要目标,但处理超高频数据集在模型参数数量和推理速度方面受到限制。时间注意力增强双线性网络是近年来提出的一种高效、高性能的限价订单时间序列预测模型。在本文中,我们提出了一种低秩张量近似模型,以进一步减少可训练参数的数量并提高其速度。
2021-07-05 cs.LG
Deep Time Series Forecasting with Shape and Temporal Criteria
研究了具有突变性的非平稳信号的多步时间序列预测问题。目前最先进的深度学习预测方法通常使用MSE的变体进行训练,缺乏在确定性和概率性背景下提供准确预测的能力。为了应对这些挑战,我们建议在深度模型的训练目标中加入形状和时间标准。我们定义形状和时间的相似性和相异性,基于动态时间规整(DTW)和时间失真指数(TDI)的平滑松弛,从而能够构建可微损失函数和半正定(PSD)内核。有了这些工具,我们介绍DILATE(失真损失,包括shApe和TimE),确定性预测的一个新目标,明确纳入了两个术语支持精确的形状和时间变化检测。对于概率预测,我们引入了STRIPE++(形状和时间多样性的概率预测),一个框架,提供了一组尖锐的和多样化的预测,其中结构化的形状和时间多样性与决定点过程(DPP)的多样性损失。对合成和真实世界数据集的广泛实验和消融研究证实了在时间序列预测中利用形状和时间特征的好处。
2022-02-17 cs.AI cs.LG stat.ML
Deep TPC: Temporal-Prior Conditioning for Time Series Forecasting
本文提出TPC方法,通过时间先验条件提升时间序列预测性能,实现低参数预算下的长周期预测优化。
2026-02-18 cs.LG
Adaptive Spatio-Temporal Graphs with Self-Supervised Pretraining for Multi-Horizon Weather Forecasting
School of Computer Science, Xiangtan University, Xiangtan, 411105, China(计算机学院,湘潭大学,湘潭,411105,中国)
提出一种结合图神经网络与自监督预训练的自适应时空图框架,通过时空自适应机制提升多变量、多时间跨度天气预报的准确性与泛化能力。
2025-10-28 cs.AI cs.LG
TLogic: Temporal Logical Rules for Explainable Link Forecasting on Temporal Knowledge Graphs
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学)
传统的静态知识图谱将关系数据中的实体建模为节点,由特定关系类型的边连接。然而,信息和知识不断演变,出现了时间动态,预计会影响未来的局势。在时间知识图谱中,通过为每条边配备时间戳或时间范围来将时间信息集成到图中。基于嵌入的方法已经被引入到时态知识图谱的链接预测中,但是它们大多缺乏可解释性和可理解的推理链。特别是,它们通常不被设计为处理链路预测-涉及未来时间戳的事件预测。我们解决的任务,时间知识图谱的链接预测,并介绍TLogic,一个可解释的框架,是基于时间的逻辑规则提取通过时间随机游走。我们将TLogic与三个基准数据集上的最新基线进行了比较,并显示出更好的整体性能,同时我们的方法还提供了保持时间一致性的解释。此外,与大多数最先进的基于嵌入的方法相比,TLogic在归纳设置中工作得很好,其中已经学习的规则被转移到具有公共词汇表的相关数据集。
2022-03-09 cs.AI cs.LG
DSTFView: Multi-View Cloud-Edge Workload Forecasting with Dual-Input Spatio-Temporal-Frequency Modeling
Xinjiang University(新疆大学)
针对协作式云边环境中多维特征建模与预测效率平衡难题,提出DSTFView框架,通过双输入时空频率建模联合捕捉多种依赖性,设计自适应融合机制,实验证明其在多指标上优于基线。
2026-07-28 cs.AI cs.LG
Joint Modeling of Local and Global Temporal Dynamics for Multivariate Time Series Forecasting with Missing Values
Pennsylvania State University(宾夕法尼亚州立大学);IBM T.J. Watson(IBM托马斯·J·沃森研究中心)
多变量时间序列预测在气象、交通等领域有着广泛的应用。由于数据汇集、传输和存储的限制,真实世界的MTS数据通常包含缺失值,使得现有的MTS预测模型(如线性回归和递归神经网络)不可行。虽然已经有很多的努力致力于这个问题,其中大多数仅仅依赖于局部依赖性的估算缺失值,忽略了全球的时间动态。当缺失率很高或数据具有连续缺失值时,局部依赖性/模式将变得不那么有用;而探索全局模式可以缓解此类问题。因此,联合建模本地和全球的时间动态是非常有前途的MTS预测与缺失值。然而,这方面的工作相当有限。因此,我们研究了一个新的问题MTS预测缺失值,共同探索本地和全球的时间动态。我们提出了一个新的框架LGnet,它利用记忆网络来探索全局模式,从局部角度给出估计。我们进一步引入对抗训练来增强全局时间分布的建模。在真实数据集上的实验结果表明,LGnet对缺失数据的MTS预测是有效的,并且在不同的缺失率下具有鲁棒性。
2019-11-22 cs.LG stat.ML
Spatio-temporal Stacked LSTM for Temperature Prediction in Weather Forecasting
KU Leuven(鲁汶大学)
长短期记忆(LSTM)是一种广泛应用于序列学习和时间序列预测的方法。在本文中,我们将堆叠LSTM模型部署在天气预报的应用中。我们提出了一个2层时空堆叠LSTM模型,它由第一层LSTM层中每个位置的独立LSTM模型组成。随后,基于第一层LSTM模型的隐藏状态的组合来形成第二层LSTM层的输入。实验表明,通过利用空间信息,堆叠LSTM模型的预测性能在大多数情况下都有所提高。
2018-11-15 cs.LG stat.ML
Temporal Knowledge Graph Forecasting with Neural ODE
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);Corporate Technology, Siemens AG(西门子股份公司企业技术部);Technical University of Munich(慕尼黑工业大学)
在时间知识图谱(KG)上推断未来链接的兴趣越来越大。虽然时间KG上的链接随时间连续变化,但现有方法在离散状态空间中对时间KG进行建模。为此,我们通过将神经常微分方程(ODE)的思想扩展到多关系图卷积网络,提出了一种新型的连续统模型。该模型保持了动态多关系图数据的连续性,并将时间和结构信息编码为连续时间动态嵌入。此外,应用新颖的图过渡层来捕获动态图上的过渡,即,边缘形成和溶解。我们在五个基准数据集上进行了大量的时间KG推理实验,显示了我们的模型在未来链路预测任务上的优越性能。
2022-06-02 cs.AI cs.LG
Hierarchical Time Series Forecasting Via Latent Mean Encoding
Zalando SE(Zalando公司)
提出一种基于潜在均值编码的层次时间序列预测架构,通过专门模块预测不同时间聚合级别并在隐藏层编码目标变量平均行为,在M5数据集上优于TSMixer等既有方法,实现准确且相干的跨层次预测。
2025-06-24 cs.AI cs.LG
STAA: Spatio-Temporal Alignment Attention for Short-Term Precipitation Forecasting
Chengdu Computer Application Institute, Chinese Academy of Sciences(中国科学院成都计算机应用研究所);Chengdu University of Information Technology(成都信息工程大学)
针对短期降水预报中多源数据不同步、时空依赖捕捉弱及极端降水预测差的问题,提出带SATA时间对齐模块和STAU特征提取器的STAA模型,在中国西南区域数据上RMSE较SOTA方法提升12.61%。
2024-09-06 cs.LG physics.ao-ph
SAMSGL: Series-Aligned Multi-Scale Graph Learning for Spatio-Temporal Forecasting
East China University of Science and Technology(华东理工大学);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Humboldt University of Berlin(柏林洪堡大学)
针对时空预测中时间延迟与多尺度交互难题,提出序列对齐多尺度图学习框架SAMSGL,通过序列对齐图卷积与多尺度图结构学习及Graph-FC块融合时空信息,在气象和交通数据集上验证了其有效性。
2024-05-28 cs.AI cs.LG
VaryST: Generalizable Spatio-Temporal Forecasting Beyond the Closed-World Setting
Beijing Jiaotong University(北京交通大学);Aalborg University(奥尔堡大学)
本研究提出VaryST时空预测模型,通过动态构建预测上下文、适配时空变化及处理观测可用性差异,在域内预测、零/少样本泛化及观测鲁棒性上均优于17个基准模型。
2026-10-14 cs.AI cs.LG
Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting
IBM Research(IBM研究院)
高维多变量时间序列的概率预测是一个众所周知的具有挑战性的任务,无论是在计算负担和分布建模。大多数以前的工作要么做简单的分布假设或放弃建模交叉系列的相关性。一个有前途的工作线利用可扩展矩阵分解进行潜在空间预测,但仅限于线性嵌入,无法建模分布,并且在使用深度学习预测时无法进行端到端的训练。我们介绍了一种新的时间潜在自动编码器方法,该方法能够对多变量时间序列进行非线性因式分解,并使用时间深度学习潜在空间预测模型进行端到端学习。通过施加概率潜在空间模型,输入序列的复杂分布通过解码器建模。大量的实验表明,我们的模型在许多流行的多变量数据集上实现了最先进的性能,对于几个标准指标,增益有时高达$50\%$。
2021-01-25 cs.AI cs.LG cs.NE
Learning Temporal Saliency for Time Series Forecasting with Cross-Scale Attention
Department of Software Engineering, Faculty of Computer and Information Sciences, Sakarya University(软件工程系,计算机与信息科学学院,萨卡里亚大学);Department of Computer and Information Science (IDA), REAL, AIICS, Linkoping University(计算机与信息科学系(IDA),REAL,AIICS,林奈大学)
本文提出 CrossScaleNet,通过基于 patch 的交叉注意力与多尺度处理内在学习时间显著性,在保持最先进预测精度的同时增强可解释性。
2025-09-26 cs.CV cs.LG
Spatio-Temporal Neural Networks for Space-Time Series Forecasting and Relations Discovery
Sorbonne Universités, UPMC Univ Paris 06, CNRS, LIP6 UMR 7606(索邦大学、巴黎第六大学、法国国家科学研究中心、巴黎第六大学计算机科学实验室(UMR 7606));Vedecom Institute(维德科姆研究所)
我们引入了一个动态时空模型,形式化为一个递归神经网络,用于预测空间过程的时间序列,即一系列共享时间和空间依赖关系的观测。该模型通过结构化的潜在动态组件学习这些依赖关系,而解码器则从潜在表示中预测观察结果。我们考虑这个模型的几个变体,对应于不同的先验假设的空间关系之间的系列。该模型进行评估,并比较国家的最先进的基线,对各种预测问题的代表不同的应用领域:流行病学,地理空间统计和汽车交通预测。除了这些评价,我们还描述了实验表明这种方法提取相关的空间关系的能力。
2018-04-23 cs.LG stat.ML
Leveraging Non-Decimated Wavelet Packet Features and Transformer Models for Time Series Forecasting
Imperial College London(帝国理工学院)
本文结合Daubechies小波特征与Transformer等预测模型,通过非抽取小波包变换提取特征,在多种方法上验证了其对一步及长期预测的改进效果。
2024-03-13 cs.LG stat.ME
Revealing the Power of Masked Autoencoders in Traffic Forecasting
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
针对交通预测中的数据稀缺和模型稳定性问题,提出即插即用的时空掩码自编码器框架STMAE,通过双重掩码预训练与微调集成,显著提升多种时空模型的预测精度。
2024-07-28 cs.AI cs.LG
Deep learning for spatio-temporal forecasting -- application to solar energy
HESAM Université(巴黎高科艺术与职业大学);Conservatoire national des arts et métiers(法国国立工艺学院);Simon Fraser University(西蒙弗雷泽大学);Borealis AI(Borealis人工智能研究院);Valeo AI(法雷奥人工智能研究院);Sorbonne Université(索邦大学);Criteo AI(科韬人工智能研究院);Mines ParisTech(巴黎高等矿业学院);EDF R&D(法国电力研发中心);Université Rennes 1(雷恩第一大学);INRIA(法国国家信息与自动化研究所)
本文探讨了深度学习的时空预测问题。法国电力公司(EDF)的激励应用是利用鱼眼图像进行短期太阳能预测。我们探索了两个主要的研究方向,通过注入外部物理知识来改进深度预测方法。第一个方向涉及训练损失函数的作用。我们表明,可微形状和时间标准可以利用,以提高现有模型的性能。我们解决了确定性上下文与建议的DILATE损失函数和概率上下文与STRIPE模型。我们的第二个方向是用深度数据驱动的网络来增强不完整的物理模型,以实现准确的预测。对于视频预测,我们引入了PhyDNet模型,该模型将物理动力学与预测所需的残差信息(如纹理或细节)分离开来。我们进一步提出了一个学习框架(APHYNITY),确保在温和的假设下,物理和数据驱动的组件之间的原则性和独特的线性分解,从而获得更好的预测性能和参数识别。
2022-05-07 cs.AI cs.LG stat.ML
Spatial-Temporal Adaptive Graph Convolution with Attention Network for Traffic Forecasting
Beijing University of Posts and Telecommunications(北京邮电大学);Didi Research Institute, Didi Chuxing(滴滴出行滴滴研究院)
交通预测是智能交通系统中时空学习任务的一个典型例子。现有的方法在图卷积神经运算符中使用预定矩阵来捕获空间依赖性。然而,显式图结构丢失了节点之间关系的一些隐藏表示。此外,传统的图卷积神经操作符不能聚合图上的长距离节点。为了克服这些限制,我们提出了一种新的网络,时空自适应图卷积与注意力网络(STAAN)的流量预测。首先,我们采用自适应依赖矩阵,而不是使用一个预定义的矩阵在GCN处理来推断节点之间的相互依赖关系。其次,我们集成了基于图注意力网络的PW-注意力,该网络是为全局依赖而设计的,GCN是空间块。更重要的是,堆叠膨胀的一维卷积,在长期预测的效率,采用在我们的时间块捕获不同的时间序列。我们在两个真实世界的数据集上评估了我们的STAAN,实验验证了我们的模型优于最先进的基线。
2022-06-07 cs.GR cs.LG
CASTNet: Community-Attentive Spatio-Temporal Networks for Opioid Overdose Forecasting
University of Pittsburgh(匹兹堡大学);Middle East Technical University(中东技术大学)
阿片类药物过量是美国日益严重的公共卫生危机。这一危机被称为“类阿片流行病”,具有广泛的社会后果,包括健康状况恶化、犯罪率上升和家庭问题。为了改善过量监测并确定需要预防工作的领域,在这项工作中,我们专注于使用实时犯罪动态预测阿片类药物过量。以往的工作查明了类阿片使用与犯罪活动之间的各种联系,如经济动机和共同原因。受这些观察的启发,我们提出了一种新的时空预测模型,利用犯罪事件的时空模式来预测阿片类药物过量。我们提出的模型结合了多头注意力网络来学习特征的不同表示子空间。这种深度学习架构被称为“社区关注”网络,允许通过组的混合来优化给定位置的预测(即,地区)。此外,我们提出的模型还可以解释来自哪些社区的哪些特征对预测当地事件有更多贡献,以及如何通过预测来捕捉这些社区。我们对两个真实世界过量数据集的结果表明,我们的模型实现了卓越的预测性能,并在犯罪动态和阿片类药物过量动态之间的时空关系方面提供了有意义的解释。
2020-05-29 cs.LG stat.ML