Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting
Peking University(北京大学);Microsoft(微软);ETH Zürich(苏黎世联邦理工学院)
多变量时间序列预测在许多实际应用中起着至关重要的作用。这是一个具有挑战性的问题,因为需要同时考虑序列内的时间相关性和序列间的相关性。最近,已经有多个作品试图捕捉这两种相关性,但大多数,如果不是全部的话,他们只捕捉时间域中的时间相关性,并诉诸于预定义的先验序列间的关系。为了进一步提高多变量时间序列预测的精度,本文提出了谱时间图神经网络(StemGNN)。StemGNN捕获\textit{spectral domain}中的序列间相关性和时间依赖性\textit{jointly}。它结合了图形傅立叶变换(GFT)和离散傅立叶变换(DFT),前者对序列间相关性进行建模,后者对端到端框架中的时间依赖性进行建模。在经过GFT和DFT之后,谱表示保持清晰的模式,并且可以通过卷积和顺序学习模块来有效地预测。此外,StemGNN自动从数据中学习序列间相关性,而无需使用预定义的先验知识。我们在十个真实世界的数据集上进行了广泛的实验,以证明StemGNN的有效性。代码可在https://github.com/microsoft/StemGNN/上获得
2021-03-13 cs.AI cs.LG
Uncertainty-Aware Crime Prediction With Spatial Temporal Multivariate Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);University of Arizona(亚利桑那大学);City University of Macau(澳门城市大学);Stony Brook University(石溪大学);Duke Kunshan University(昆山杜克大学)
本文提出STMGNN-ZINB框架,结合扩散卷积网络与零膨胀负二项模型,解决犯罪数据稀疏和非高斯问题,在真实数据集上验证其预测精度和置信区间优于现有模型。
2024-08-08 cs.AI cs.LG
Higher-order Spatio-temporal Physics-incorporated Graph Neural Network for Multivariate Time Series Imputation
School of Information Technology, Halmstad University(哈尔姆斯塔德大学信息技术学院)
针对多元时间序列插补中数据驱动模型难以捕捉复杂时空关系及高阶邻居计算复杂的问题,提出高阶时空物理融合图神经网络HSPGNN,利用动态拉普拉斯矩阵和偏微分方程构建模型,结合归一化流评估节点重要性,在四个基准数据集上验证了有效性。
2024-07-18 cs.AI cs.LG
Multivariate Time Series Classification with Hierarchical Variational Graph Pooling
Chongqing University(重庆大学);Zhejiang University(浙江大学);University of California, Los Angeles(加州大学洛杉矶分校)
随着传感技术的发展,多元时间序列分类(MTSC)近年来受到了广泛的关注。现有的基于深度学习的MTSC技术主要依赖于卷积或递归神经网络,主要关注单个时间序列的时间依赖性。因此,他们很难直接表达多变量之间的成对依赖关系。此外,当前的时空建模(例如,基于图神经网络(GNN)的图分类)方法本质上是扁平的,并且不能以分级方式聚集中心数据。为了解决这些局限性,我们提出了一种新的基于图池的框架MTPool,以获得富有表现力的全局表示MTS。首先通过图结构学习模块利用变量间的相互作用将MTS切片转换为图,并通过时间卷积模块获得时空图节点特征。为了得到全局图级表示,我们设计了一个基于“编码器-解码器”的变分图池模块,用于创建自适应聚类分配的质心。然后,我们将GNN和我们提出的变分图池层结合起来,用于联合图表示学习和图粗化,之后图逐渐粗化到一个节点。最后,一个可微分类器采用这种粗化的表示来得到最终的预测类。在10个基准数据集上的实验表明,MTPool在MTSC任务中的性能优于最先进的策略。
2021-11-06 cs.AI cs.LG
Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks
The Swiss AI Lab IDSIA, Università della Svizzera italiana(瑞士人工智能实验室IDSIA,瑞士意大利语区大学);Politecnico di Milano(米兰理工大学)
处理缺失值和不完整的时间序列是一项劳动密集型,繁琐,不可避免的任务,当处理来自现实世界的应用程序的数据。有效的时空表示将允许插补方法通过利用来自不同位置的传感器的信息来重建缺失的时间数据。然而,标准方法在捕获互连传感器网络内存在的非线性时间和空间依赖性方面存在不足,并且没有充分利用可用的(并且通常是强的)关系信息。值得注意的是,大多数基于深度学习的最先进的插补方法没有明确地对关系方面进行建模,并且在任何情况下都没有利用能够充分表示结构化时空数据的处理框架。相反,图神经网络最近作为处理具有关系归纳偏差的序列数据的表达和可扩展工具而流行起来。在这项工作中,我们提出了第一个评估的图神经网络的背景下,多变量时间序列插补。特别是,我们介绍了一种新的图神经网络架构,名为GRIN,其目的是在重建丢失的数据在不同渠道的多元时间序列通过学习时空表示通过消息传递。实证结果表明,我们的模型优于国家的最先进的方法在相关的现实世界的基准与平均绝对误差的改善往往高于20%的插补任务。
2022-02-10 cs.AI cs.LG
MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs
L3S Research Center(L3S研究中心);University of Hildesheim(希尔德斯海姆大学)
本文提出MTS2Graph框架,通过提取并聚类高激活CNN神经元的代表性模式、构建跨层时间演化图并进行图嵌入,在提升多元时间序列分类性能的同时增强模型可解释性。
2023-06-06 cs.AI cs.LG
Multivariate Temporal Autoencoder for Predictive Reconstruction of Deep Sequences
Altum Intelligence(Altum Intelligence(阿尔图姆智能))
时间序列序列预测和建模已被证明是现实世界数据集的一项具有挑战性的工作。两个关键问题是数据的多维性和形成潜在输出信号的独立维度的相互作用,以及预测模型内部的多维时间数据的表示。本文提出了一种多分支深度神经网络方法来解决上述问题,通过使用循环自动编码器分支对数据窗口的潜在状态向量表示进行建模,随后将训练的潜在向量表示馈送到模型的预测器分支中。该模型此后被称为多变量时间自动编码器(MvTAe)。本文中的框架利用了一个合成的多变量时态数据集,其中包含的维度相结合,以创建一个隐藏的输出目标。
2020-10-07 cs.LG
Beyond Marginals: Learning Joint Spatio-Temporal Patterns for Multivariate Anomaly Detection
Virginia Tech(弗吉尼亚理工大学)
本文提出通过潜在空间中解耦边际分布、时间动态与变量间依赖,并结合Transformer、copula和自监督对比学习来建模多元时间序列的联合时空模式,以提升异常检测性能。
2025-09-18 cs.LG
Temporal Attention Evolutional Graph Convolutional Network for Multivariate Time Series Forecasting
College of Information Science and Engineering, China University of Petroleum Beijing(信息科学与工程学院,中国石油大学(北京));Beijing Key Laboratory of Petroleum Data Mining, China University of Petroleum Beijing(北京石油数据挖掘重点实验室,中国石油大学(北京))
本文提出TAEGCN模型,通过结合因果时序卷积、多头自注意力机制和动态图结构构建,有效捕捉多变量时间序列的时空特征,在METR-LA和PEMS-BAY数据集上取得优越预测性能。
2025-05-01 cs.LG
Spatial-Temporal Identity: A Simple yet Effective Baseline for Multivariate Time Series Forecasting
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Huazhong University of Science and Technology(华中科技大学)
多变量时间序列(MTS)预测在广泛的应用中起着至关重要的作用。最近,时空图神经网络(STGNNs)由于其最先进的性能而成为越来越受欢迎的MTS预测方法。然而,最近的作品变得越来越复杂,有限的性能改进。这一现象促使我们探索MTS预测的关键因素,并设计一个与STGNN一样强大,但更简洁有效的模型。在本文中,我们确定在空间和时间维度的样本的不可重复性作为一个关键的瓶颈,并提出了一个简单而有效的基线MTS预测附加空间和时间标识信息(STID),实现了最佳的性能和效率同时基于简单的多层感知器(MLP)。这些结果表明,我们可以设计高效和有效的模型,只要它们解决了样本的不可分辨性,而不限于STGNN。
2022-08-19 cs.LG
Temporal Query Network for Efficient Multivariate Time Series Forecasting
South China University of Technology(华南理工大学);Pengcheng Laboratory(鹏城实验室)
提出时间查询网络(TQNet),通过周期性移位可学习向量作为注意力查询捕获全局变量相关性,仅用单层注意力和轻量MLP,在12个数据集上达到最先进精度且效率高。
2025-09-11 cs.LG
Multivariate and Propagation Graph Attention Network for Spatial-Temporal Prediction with Outdoor Cellular Traffic
National Taiwan University(国立台湾大学);Chunghwa Telecom Laboratories(中华电信研究所);Mobile Drive Technology
时空预测是智能交通领域的一个关键问题,有助于交通控制和事故预防等任务的实现。以前的研究依赖于从传感器收集的大规模交通数据。然而,由于设备和维护成本,不太可能在所有地区部署传感器。本文通过从电信公司每天超过20亿条记录中提取的室外蜂窝流量来解决这个问题,因为用户移动性引起的室外蜂窝流量与交通流量高度相关。我们研究了城市道路交叉口,旨在预测未来的室外蜂窝交通的所有交叉口给定的历史室外蜂窝交通。此外,我们提出了一个新的模型,多变量时空预测,主要由两个扩展的图形注意力网络(GAT)。首先,GAT被用来探索多变量蜂窝流量之间的相关性。另一种GAT利用注意力机制进行图传播,以提高捕获空间依赖性的效率。实验表明,该模型显着优于我们的数据集上的最先进的方法。
2021-08-23 cs.LG
InvDec: Inverted Decoder for Multivariate Time Series Forecasting with Separated Temporal and Variate Modeling
Department of Computer Science(计算机科学系)
提出InvDec混合架构,通过分离时间编码与变量级解码并引入延迟嵌入和自适应残差融合,在高维多元时间序列预测中显著优于PatchTST。
2025-10-23 cs.LG
CASE-NET: Deep Spatio-Temporal Representation Learning via Causal Attention and Channel Recalibration for Multivariate Time Series Classification
Shandong Technology and Business University(山东技术与商业大学);Ludong University(鲁东大学)
本文提出CASE-NET,通过因果注意力和通道重校准模块,解决多变量时间序列分类中时空表示不准确的问题,实现在四个任务上达到新的最先进基准,最高准确率达98.6%。
2026-05-21 cs.LG
Temporal Tensor Transformation Network for Multivariate Time Series Prediction
IBM Almaden Research Center(IBM阿尔马登研究中心)
多变量时间序列预测在广泛的领域中有应用,并且被认为是一项非常具有挑战性的任务,特别是当变量具有相关性并表现出复杂的时间模式(例如季节性和趋势)时。许多现有的方法遭受强大的统计假设,高维数值问题,手动功能工程的努力,和可扩展性。在这项工作中,我们提出了一种新的深度学习架构,称为时间张量变换网络,它通过提出的时间切片堆栈变换将原始多变量时间序列转换为更高阶的张量。这产生了原始多变量时间序列的新表示,这使得卷积核能够从相对较大的时间区域中提取复杂的非线性特征以及可变的干扰信号。实验结果表明,时间张量变换网络在各种任务的基于窗口的预测上优于几种最先进的方法。所提出的架构还通过广泛的灵敏度分析展示了强大的预测性能。
2020-01-04 cs.LG stat.ML
Static and multivariate-temporal attentive fusion transformer for readmission risk prediction
School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院);Cooperative Innovation Center of Internet Healthcare, Zhengzhou University(郑州大学互联网医疗协同创新中心);Fuwai Hospital, National Center for Cardiovascular Diseases, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院北京协和医学院国家心血管病中心阜外医院)
针对ICU患者短期再入院预测,提出静态与多变量时序注意力融合Transformer(SMTAFormer),通过MLP与时序Transformer分别提取特征并融合,在MIMIC-III数据集上准确率达86.6%,AUC达0.717。
2024-07-15 cs.AI cs.LG
TFEC: Multivariate Time-Series Clustering via Temporal-Frequency Enhanced Contrastive Learning
Guangdong University of Technology(广东工业大学);Hong Kong Baptist University(香港 Baptist 大学)
TFEC通过时频增强对比学习方法,提升多变量时间序列聚类的表示质量和聚类结构优化。
2026-01-12 cs.LG
STRGCN: Capturing Asynchronous Spatio-Temporal Dependencies for Irregular Multivariate Time Series Forecasting
College of Computer Science, Nankai University(南开大学计算机科学学院)
STRGCN通过将不规则多元时间序列建模为全连接图并结合分层“三明治”结构,在不进行预对齐的情况下直接捕获异步时空依赖,在四个公开数据集上取得最先进精度与高效资源表现。
2025-05-07 cs.LG
ASTGI: Adaptive Spatio-Temporal Graph Interactions for Irregular Multivariate Time Series Forecasting
School of Data Science and Engineering, East China Normal University, Shanghai, China(东华大学数据科学与工程学院,上海,中国);Engineering Research Center of Blockchain Data Management, Ministry of Education, China(教育部区块链数据管理工程研究中心,中国)
本文提出ASTGI框架,通过自适应时空图交互解决不规则多变量时间序列预测中的数据表示和动态依赖捕捉问题,实验表明其优于现有方法。
2026-03-12 cs.LG
Correlation-aware Spatial-Temporal Graph Learning for Multivariate Time-series Anomaly Detection
La Trobe University(拉筹伯大学);Monash University(莫纳什大学);Griffith University(格里菲斯大学)
提出CST-GL方法,通过显式建模变量间成对相关性并利用时空图神经网络,实现多元时间序列异常的有效检测与早期预警。
2023-11-16 cs.LG
Attention-Guided Deep Adversarial Temporal Subspace Clustering (A-DATSC) Model for multivariate spatiotemporal data
University of Maryland, Baltimore County(马里兰大学巴尔的摩县)
针对多变量四维时空数据的复杂依赖与现有深度子空间聚类局限,提出结合 U-Net 式 ConvLSTM 生成器、判别器及图注意力 transformer 自表达网络的 A-DATSC,并在三个真实数据集上验证其优越性能。
2025-10-20 cs.LG
Hybrid Quantum Temporal Convolutional Networks
Seoul National University(首尔国立大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
混合量子时序卷积网络通过结合经典时间窗口化与量子卷积神经网络,实现对多变量时间序列的高效处理,在数据有限条件下表现出优越的参数效率和性能。
2026-02-27 cs.LG
ARM: Refining Multivariate Forecasting with Adaptive Temporal-Contextual Learning
Georgia Institute of Technology(佐治亚理工学院);Amazon Web Services(亚马逊网络服务)
ARM通过自适应时间-上下文学习方法提升多变量长期时间序列预测的性能和效率
2026-02-05 cs.LG stat.ML
Extended Vertical Lists for Temporal Pattern Mining from Multivariate Time Series
University of Florida(佛罗里达大学)
时间模式挖掘(TPM)是在有监督的环境下从多变量时间序列中挖掘预测性复杂时间模式的问题。我们开发了一种新的方法,称为扩展垂直列表的快速时间模式挖掘。该方法利用了Apriori属性的扩展,该属性要求更复杂的模式仅出现在记录中所有子模式都被检测到的地方。该方法基于一种称为扩展垂直列表的新颖数据结构,该结构跟踪记录内模式的第一状态的位置。大量的计算结果表明,新的方法执行显着快于以前版本的算法TMP。然而,速度的提高是以内存使用为代价的。
2018-04-26 cs.LG stat.ML
Explainable Spatio-Temporal GCNNs for Irregular Multivariate Time Series: Architecture and Application to ICU Patient Data
King Juan Carlos University(胡安·卡洛斯国王大学)
该研究提出可解释时空图卷积神经网络XST-GCNN,用于处理异构不规则多变量时间序列,在ICU患者多重耐药性预测任务中性能优于传统模型,同时具备临床可解释性。
2024-11-01 cs.LG
Spatio-temporal Multivariate Cluster Evolution Analysis for Detecting and Tracking Climate Impacts
Sandia National Laboratories(桑迪亚国家实验室)
本文提出一种结合异常检测、聚类与NLP的无监督方法,用于检测气候中统计显著的影响并追踪时空源—影响路径,并以1991年皮纳图博火山喷发为例验证其有效性。
2024-10-21 cs.LG
CASC: Causal Adversarial Subspace Clustering for Multivariate Spatiotemporal Data
针对多变量时空数据应用中现有深度子空间聚类方法的局限,提出CASC框架,集成特定架构保留时空结构,引入自表达网络建模多种关系,还提出两个新学习目标,将其转变为因果-时间状态发现框架。
2026-07-24 cs.LG
Temporal-Conditioned Normalizing Flows for Multivariate Time Series Anomaly Detection
本文提出时间条件归一化流框架,通过建模时间依赖性与不确定性,实现多变量时间序列的高效异常检测。
2026-03-10 cs.AI cs.LG
Multivariate Spatio-Temporal Neural Hawkes Processes
本文提出了一种多变量时空神经Hawkes过程,用于建模具有时空动态的复杂事件数据,通过整合空间信息和学习衰减动态,提升了对激发和抑制机制的建模能力,并在恐怖主义数据中验证了其有效性。
2026-03-02 cs.LG math.ST stat.AP
Series Saliency: Temporal Interpretation for Multivariate Time Series Forecasting
Tsinghua University(清华大学)
时间序列预测是一项重要而又具有挑战性的任务。虽然最近开发了深度学习方法来提供更好的预测结果,但提高时间序列模型的可解释性至关重要。以往的解释方法,包括一般的神经网络方法和基于注意力的方法,主要考虑特征维度的解释,而忽略了关键的时间维度。本文提出了多元时间序列预测时间解释的序列显著性框架,该框架考虑了特征和时间两个维度的预测解释。通过从时间序列的滑动窗口中提取“序列图像”,我们应用显著图分割遵循最小破坏区域的原则。序列显着性框架可以用于任何定义良好的深度学习模型,并作为数据增强来获得更准确的预测。几个真实数据集上的实验结果表明,我们的框架产生的时间序列预测任务的时间解释,同时产生准确的时间序列预测。
2020-12-16 cs.AI cs.LG
Multi-scale Transformer Pyramid Networks for Multivariate Time Series Forecasting
University of Nevada, Reno(内华达大学雷诺分校);East Carolina University(东卡罗来纳大学)
本文提出多尺度Transformer金字塔网络(MTPNet),通过维度不变嵌入和多个无约束尺度捕获时间依赖,在九个基准数据集上超越现有最先进方法。
2023-08-23 cs.LG
Probabilistic Learning of Multivariate Time Series with Temporal Irregularity
City University of Hong Kong(香港城市大学)
针对非均匀间隔、变量错位的多元时间序列,提出端到端概率框架,用动态条件连续归一化流和分解对数似然建模联合分布及依赖关系,实验证明其更优且适应性更强。
2025-02-15 cs.AI cs.LG
Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting
IBM Research(IBM研究院)
高维多变量时间序列的概率预测是一个众所周知的具有挑战性的任务,无论是在计算负担和分布建模。大多数以前的工作要么做简单的分布假设或放弃建模交叉系列的相关性。一个有前途的工作线利用可扩展矩阵分解进行潜在空间预测,但仅限于线性嵌入,无法建模分布,并且在使用深度学习预测时无法进行端到端的训练。我们介绍了一种新的时间潜在自动编码器方法,该方法能够对多变量时间序列进行非线性因式分解,并使用时间深度学习潜在空间预测模型进行端到端学习。通过施加概率潜在空间模型,输入序列的复杂分布通过解码器建模。大量的实验表明,我们的模型在许多流行的多变量数据集上实现了最先进的性能,对于几个标准指标,增益有时高达$50\%$。
2021-01-25 cs.AI cs.LG cs.NE
MUSE: Dependency-Aware Adaptation of a Frozen Vision Backbone for Multivariate Time Series Forecasting
East China Normal University(华东师范大学)
MUSE提出依赖感知适配框架,基于冻结的MAE视觉骨干,通过VCR和TPR模块建模跨变量与跨周期依赖,在10个数据集上取得最先进预测性能。
2026-09-22 cs.LG
SMATE: Semi-Supervised Spatio-Temporal Representation Learning on Multivariate Time Series
DAVID Lab(DAVID实验室);University of Versailles(凡尔赛大学);Université Paris-Saclay(巴黎萨克雷大学)
近年来,从多变量时间序列中学习引起了广泛的关注。特别是,标签短缺是一个真正的挑战,MTS上的分类任务,考虑到其复杂的维度和顺序的数据结构。与依赖于基于距离的分类器的自我训练和积极的未标记学习不同,在本文中,我们提出了SMATE,一种新的半监督模型,用于从弱标记MTS中学习可解释的时空表示。我们从UEA MTS存档的30个公共数据集上经验验证了学习的表示。我们将其与完全监督任务的13种最先进的基线方法和半监督任务的4种基线进行了比较。结果表明,我们提出的方法的可靠性和有效性。
2021-10-10 cs.AI cs.LG
HyperIMTS: Hypergraph Neural Network for Irregular Multivariate Time Series Forecasting
针对不规则多元时间序列中时间间隔不规则和观测未对齐的挑战,提出基于超图神经网络的HyperIMTS模型,通过时间和变量超边统一表示依赖关系,实现准确预测并降低计算成本。
2025-05-23 cs.LG
Channel-aware Contrastive Conditional Diffusion for Multivariate Probabilistic Time Series Forecasting
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Alberta(阿尔伯塔大学)
本文提出通道感知对比条件扩散模型CCDM,通过通道中心去噪网络和基于去噪的时间对比学习提升多元概率时间序列预测精度与泛化能力,在基准测试中优于现有扩散预测器。
2024-10-03 cs.LG
SAGDFN: A Scalable Adaptive Graph Diffusion Forecasting Network for Multivariate Time Series Forecasting
Nanyang Technological University(南洋理工大学);Harbin Institute of Technology(Shenzhen)(哈尔滨工业大学(深圳));NCS Pte Ltd(NCS私人有限公司);DAMO Academy, Alibaba group(阿里巴巴达摩院)
针对现有时空图神经网络在大规模多变量时间序列预测中可扩展性差、性能受限的问题,提出无需空间先验知识的SAGDFN,可适配数千节点数据集,在大规模数据集上性能显著优于现有最优方法。
2024-06-18 cs.LG
Distributional Drift Adaptation with Temporal Conditional Variational Autoencoder for Multivariate Time Series Forecasting
School of Medical Technology, Beijing Institute of Technology(北京理工大学医学技术学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Department of Computer Science, Tongji University(同济大学计算机科学系);University of Technology Sydney(悉尼科技大学);DataX Research Centre, School of Computing, Macquarie University(麦考瑞大学计算学院DataX研究中心)
本文提出时序条件变分自编码器TCVAE,通过时序Hawkes注意力、门控注意力机制和条件连续归一化流建模多元时间序列的动态分布依赖,有效应对分布漂移,在六个真实数据集上验证了其优越的鲁棒性和预测性能。
2024-04-02 cs.LG
QiYao-I: A Manifold Based Foundation Model for Irregular Multivariate Time Series Forecasting
East China Normal University(华东师范大学);Huawei Technologies Ltd.(华为技术有限公司)
QiYao-I提出基于流形的时间注意力与频率感知动态变量交互机制,用于不规则多元时间序列预测,在基准上超越现有模型,具备强零样本和少样本泛化能力。
2026-10-14 cs.LG
Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs
Monash University(莫纳什大学);La Trobe University(乐卓博大学);Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);Griffith University(格里菲斯大学)
多变量时间序列预测长期以来在实际应用中受到了极大的关注,例如能源消耗和交通预测。虽然最近的方法表现出良好的预测能力,但它们有三个基本限制。(i)离散神经架构:交错单独参数化的空间和时间块编码丰富的底层模式,导致不连续的潜在状态轨迹和更高的预测数值误差。(ii)高复杂性:离散方法使用专用设计和冗余参数使模型复杂化,从而导致更高的计算和内存开销。(iii)依赖于图先验:依赖于预定义的静态图结构限制了它们在实际应用中的有效性和实用性。在本文中,我们提出了一个连续的模型来预测$\textbf{M}$多元$\textbf{T}$时间序列与动态$\textbf{G}$神经$\textbf{O}$常规$\textbf{D}$ $\textbf{E}$方程($\texttt{MTGODE}$)的所有上述限制。具体来说,我们首先将多元时间序列抽象为具有随时间演变的节点特征和未知图结构的动态图。然后,我们设计并解决了一个神经ODE,以补充缺失的图拓扑结构,并统一空间和时间消息传递,允许更深层次的图传播和细粒度的时间信息聚合,以表征稳定和精确的潜在时空动态。我们的实验证明了$\texttt{MTGODE}$的优越性,从不同的角度对五个时间序列基准数据集。
2022-11-23 cs.LG
Treating Brain-inspired Memories as Priors for Diffusion Model to Forecast Multivariate Time Series
Xidian University(西安电子科技大学)
受人类记忆机制启发,提出通道共享的类脑记忆模块(含语义和情景记忆)并设计回忆与更新机制,结合扩散模型将记忆作为先验,显著提升了多变量时间序列预测的准确性和鲁棒性。
2024-09-27 cs.LG
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting
Northwestern Polytechnical University(西北工业大学)
针对Transformer依赖位置嵌入限制时间序列表示的问题,提出结合金字塔RNN嵌入(PRE)与Transformer的PRformer模型,利用多尺度卷积和RNN保留时间顺序,在真实数据集上达到最先进性能。
2024-08-20 cs.LG
SegTSim: A Big Data Driven Segmented Temporal Simulation Framework for Heterogeneous Multivariate Systems
College of Medicine and Biological Information Engineering, Northeastern University(东北大学医学与生物信息工程学院)
SegTSim是一个基于大数据的分段时间模拟框架,通过分段弹性建模、自适应门控及多因素融合,在美日汽车贸易数据上验证了其在扰动下的预测稳定性。
2026-09-22 cs.AI cs.LG
MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Huawei Technologies Ltd.(华为技术有限公司)
多元时间序列预测在各种实际场景中得到了广泛的应用。最近,由于捕获了长期依赖关系,基于Transformer的模型在预测任务方面表现出了巨大的潜力。然而,最近在视觉和NLP领域的研究表明,注意力模块的作用并不明确,这可以被其他令牌聚合操作所取代。本文研究了注意力机制对时间序列预测性能的贡献和不足。具体而言,我们发现(1)注意力对于捕获时间依赖性是不必要的,(2)捕获时间和信道交互中的纠缠和冗余影响预测性能,以及(3)重要的是对输入和预测序列之间的映射进行建模。为此,我们提出了MTS混合器,它使用两个分解模块来捕获时间和通道依赖性。在几个真实数据集上的实验结果表明,MTS-Mixers的性能优于现有的基于Transformer的模型,具有更高的效率。
2023-02-09 cs.AI cs.LG
Learning Hidden Patterns from Patient Multivariate Time Series Data Using Convolutional Neural Networks: A Case Study of Healthcare Cost Prediction
Leavey School of Business, Santa Clara University(圣克拉拉大学利维商学院);David Eccles School of Business, University of Utah(犹他大学大卫埃克尔斯商学院);University of Utah(犹他大学);Cairo University(开罗大学)
目的:通过使用卷积神经网络(CNN)架构从患者保险索赔中的多变量时间序列数据中自动学习隐藏的时间模式,开发一种有效且可扩展的个体水平患者成本预测方法。研究方法:我们使用了一家医疗保险公司2013年至2016年三年的医疗和药房索赔数据,其中前两年的数据用于构建模型来预测第三年的成本。数据由成本、就诊和医疗特征的多变量时间序列组成,这些时间序列被塑造成患者健康状况的图像(即,在一个维度上具有时间窗并且在另一个维度上具有医疗、访问和成本特征的矩阵)。患者的多变量时间序列图像被赋予一个CNN方法与建议的架构。在超参数调整之后,所提出的架构由卷积和池化层的三个构建块组成,每个层具有LReLU激活函数和针对医疗保健数据的自定义内核大小。所提出的CNN学习的时间模式成为完全连接层的输入。结论:通过所提出的CNN配置进行的特征学习显著改善了个人层面的医疗成本预测。所提出的CNN能够优于寻找预定义的图案形状集合的时间图案检测方法,因为它能够提取具有各种形状的可变数量的图案。从医疗,访问和成本数据中学习的时间模式对预测性能做出了重大贡献。超参数调整表明,考虑三个月的数据模式具有最高的预测精度。我们的研究结果表明,从多变量时间序列数据中提取的患者图像与常规图像不同,因此需要独特的CNN架构设计。
2020-09-14 cs.LG
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group(阿里巴巴集团)
本文提出Stecformer模型,通过半自适应图的时空编码提取器和级联解码预测器CDP,解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题,在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
Graph-Aware Contrasting for Multivariate Time-Series Classification
Institute for Infocomm Research, A*STAR(新加坡A*STAR资讯通信研究院);Centre for Frontier AI Research, A*STAR(新加坡A*STAR前沿人工智能研究中心);Nanyang Technological University(南洋理工大学)
针对多元时间序列分类中现有对比学习方法忽略空间一致性的问题,提出图感知对比方法,通过节点和边增强及多层级图对比提取鲁棒特征,并引入多窗口时间对比,在多个任务上达到最先进性能。
2024-01-10 cs.LG
Hybrid Ensemble Deep Graph Temporal Clustering for Spatiotemporal Data
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
针对复杂多元时空数据,提出混合集成深度图时序聚类方法,整合同质与异质集成及双重共识和图注意力自编码器,在三个真实数据集上优于现有模型,提升聚类性能与稳定性。
2024-09-19 cs.LG
LDTC: Lifelong deep temporal clustering for multivariate time series
School of Computer Science and Technology, Xidian University(电子科技大学计算机科学与技术学院)
LDTC通过整合降维和时序聚类,提出了一种端到端深度无监督学习框架,有效解决动态多变量时间序列的聚类问题。
2026-01-09 cs.AI cs.LG
Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations
New York University, New York, NY, USA(纽约大学);Department of Neurosurgery, NYU Langone Health, New York, NY, USA(神经外科部门,NYU Langone健康)
Gateformer通过变量独立嵌入、跨时间与跨变量注意力及门控机制,在13个数据集上达到最优性能,并可集成到其他预测器中提升最高20.7%的效果。
2025-07-03 cs.LG
Multivariate Temporal Dictionary Learning for EEG
CEA, LIST(法国原子能和替代能源委员会、信息与系统技术实验室);GIPSA-lab(GIPSA实验室);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
本文讨论了一种有效的方法来表示脑电信号的问题。虽然经典的方法使用固定的Gabor字典来分析EEG信号,本文提出了一种数据驱动的方法来获得自适应的字典。为了达到有效的字典学习,需要适当的空间和时间建模。在空间多变量模型中考虑了通道间的联系,而在时间模型中使用了平移不变性。多变量学习的内核是信息丰富的(几个原子编码丰富的能量)和可解释的(原子可以具有生理意义)。使用真实的EEG数据,所提出的方法被证明优于经典的多通道匹配追求与Gabor字典,作为衡量的学习字典和它的空间灵活性的代表性权力。此外,字典学习可以捕获可解释的模式:这种能力在真实数据上得到了说明,学习P300诱发电位。
2013-03-04 cs.LG q-bio.NC stat.ML
Instance Explainable Temporal Network For Multivariate Timeseries
AVLab
虽然深度网络已经被广泛采用,但它们的缺点之一是它们的黑盒性质。机器学习中一个特别困难的问题是多变量时间序列(MVTS)分类。MVTS数据出现在许多应用中,并且由于传感器和物联网设备的爆炸性增长而变得越来越普遍。在这里,我们提出了一种新的网络(IETNet),它可以识别每个推理实例的分类决策中的重要通道。此功能还可以识别和删除非预测变量,否则会导致过拟合和/或不准确的模型。IETNet是一个端到端的网络,它将时间特征提取、变量选择和联合变量交互结合到一个单一的学习框架中。IETNet利用一维卷积的时间特征,一个新的通道门层的变量类分配使用的注意力层执行跨通道推理和执行分类目标。为了深入了解学习到的时间特征和通道,我们提取了感兴趣区域的注意力图沿时间和通道。该网络的可行性证明通过一个多变量的时间序列数据从N体模拟和航天器传感器数据。
2020-08-02 cs.CV cs.LG stat.ML
Parallel Spatio-Temporal Attention-Based TCN for Multivariate Time Series Prediction
Hangzhou Dianzi University(杭州电子科技大学)
随着工业系统变得越来越复杂,从监控到我们的健康的所有监测传感器变得越来越普遍,多变量时间序列预测在我们社会的平稳运行中占据重要地位。具有注意力的递归神经网络有助于扩展预测窗口,这是这项任务的最新技术。然而,我们认为它们的消失梯度,短记忆和串行架构使RNN从根本上不适合复杂数据的长期预测。时间卷积网络(TCN)不受梯度问题的影响,并且支持并行计算,使其成为更合适的选择。此外,它们比RNN具有更长的记忆,尽管存在一些不稳定性和效率问题。因此,我们提出了一个框架,称为PSTA-TCN,它结合了一个并行的时空注意力机制,以提取动态的内部相关性与堆叠TCN骨干提取功能,从不同的窗口大小。该框架充分利用并行计算,大大减少了训练时间,同时大幅提高了准确性,稳定的预测窗口比现状长13倍。
2022-03-02 cs.AI cs.LG