Seasonal Encoder-Decoder Architecture for Forecasting
TCS Research(塔塔咨询服务公司研究院)
一般来说,深度学习(DL)和递归神经网络(RNN)在基于序列的应用中取得了很高的成功。本文涉及用于时间序列建模和预测的RNN。我们提出了一种新的RNN架构,智能地捕获(随机)季节相关性,同时能够进行准确的多步预测。它是从著名的编码器-解码器(ED)架构和乘法季节性自回归模型的动机。它包含多步骤(多目标)学习,即使在存在(或不存在)外源输入。它可以用于单个或多个序列数据。对于多序列的情况下,我们还提出了一种新的贪婪递归过程,以建立(一个或多个)预测模型时,每序列的数据是less. We通过广泛的实验表明,我们提出的架构在单序列和多序列的情况下的效用。
2022-07-08 cs.AI cs.LG
Tides Need STEMMED: A Locally Operating Spatio-Temporal Mutually Exciting Point Process with Dynamic Network for Improving Opioid Overdose Death Prediction
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院);Amazon.com, Inc(亚马逊公司);Department of Industrial & Systems Engineering, University of Washington(华盛顿大学工业与系统工程系);MGH Institute for Technology Assessment, Harvard Medical School(哈佛医学院麻省总医院技术评估研究所);Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院)
本研究提出STEMMED模型,一种带动态网络的时空相互激发点过程,用于预测阿片类药物过量死亡趋势,通过逐节点分解实现分布式学习,并在马萨诸塞州数据上较传统模型平均降低60%预测误差。
2025-10-16 stat.AP
Intermittent time series forecasting: local vs global models
Supplementary Institute of Science and Technology(瑞士苏黎世联邦理工学院)
针对间歇性时间序列预测问题,首次系统比较了概率性局部模型与全局模型(如TiDE),发现简单神经网络架构TiDE在精度和计算效率上均优于局部模型,且Tweedie分布头对高分位数估计最佳。
2026-06-11 cs.LG stat.ML
Learning from Multiple Time Series: A Deep Disentangled Approach to Diversified Time Series Forecasting
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
时间序列预测在许多应用中是一个重要的问题,例如,财务预测和业务优化。现代数据集可以有多个相关的时间序列,它们通常是由全局(共享)动态和局部(特定)动态生成的。在本文中,我们试图用DeepDGL来解决这些预测问题,DeepDGL是一种深度预测模型,它将动态分解为全局和局部时间模式。DeepDGL采用编码器-解码器架构,由两个编码器组成,分别学习全局和局部时间模式,以及一个解码器进行多步预测。具体地说,为了对复杂的全局模式进行建模,引入了矢量量化(VQ)模块,允许全局特征编码器在所有时间序列中学习共享码本。为了模拟多样化和异质性的局部模式,提出了一种基于对比多水平编码(CMC)的自适应参数生成模块,用于为每个时间序列生成局部特征编码器的参数,最大化序列特定上下文变量与相应时间序列的长/短期表示之间的互信息.我们在几个真实世界数据集上的实验表明,DeepDGL优于现有的最先进的模型。
2021-11-09 cs.LG
Stock Volume Forecasting with Advanced Information by Conditional Variational Auto-Encoder
Faculty of Mathematics, University of Cambridge(剑桥大学数学学院);School of Mathematical Sciences, Queen Mary University of London(伦敦大学玛丽皇后学院数学科学学院)
本文提出使用条件变分编码器(CVAE)结合再平衡日期等先验信息进行股票成交量预测,生成非线性样本外预测,在准确性和相关性拟合上优于传统线性模型,并可用于场景生成。
2024-06-19 cs.LG q-fin.PR q-fin.ST
Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting
IBM Research(IBM研究院)
高维多变量时间序列的概率预测是一个众所周知的具有挑战性的任务,无论是在计算负担和分布建模。大多数以前的工作要么做简单的分布假设或放弃建模交叉系列的相关性。一个有前途的工作线利用可扩展矩阵分解进行潜在空间预测,但仅限于线性嵌入,无法建模分布,并且在使用深度学习预测时无法进行端到端的训练。我们介绍了一种新的时间潜在自动编码器方法,该方法能够对多变量时间序列进行非线性因式分解,并使用时间深度学习潜在空间预测模型进行端到端学习。通过施加概率潜在空间模型,输入序列的复杂分布通过解码器建模。大量的实验表明,我们的模型在许多流行的多变量数据集上实现了最先进的性能,对于几个标准指标,增益有时高达$50\%$。
2021-01-25 cs.AI cs.LG cs.NE
Forecasting with Guidance: Representation-Level Supervision for Time Series Forecasting
Xijing University(西安电子科技大学);Northeastern University(东北大学)
本文提出ReGuider方法,通过预训练时间序列基础模型进行表示级监督,提升时间序列预测的准确性与表现力。
2026-03-25 cs.LG
Enhancing Anomaly Resilience in Research Networks: A Large-Scale Forecasting Benchmark for Dynamic Security Baselining
School of Computing University of Nebraska-Lincoln Lincoln, NE, USA
本研究针对研究与教育网络的安全悖论,基于Internet2数据集开展大规模基准测试,提出高保真流量预测框架,采用TiDE等先进架构并引入异常集成策略,提升异常区分度与鲁棒性,为网络安全操作提供支持。
2026-08-07 cs.CR cs.LG cs.NI
TimePerceiver: An Encoder-Decoder Framework for Generalized Time-Series Forecasting
Sungkyunkwan University(顺天大学)
TimePerceiver提出了一种统一的编码器-解码器框架,通过灵活感知时间序列位置,实现多种预测任务的泛化,显著提升预测性能。
2025-12-27 cs.AI cs.LG
Time Series Forecasting With Deep Learning: A Survey
University of Oxford(牛津大学)
已经开发了许多深度学习架构来适应跨不同域的时间序列数据集的多样性。在这篇文章中,我们调查了在一步前进和多水平时间序列预测中使用的常见编码器和解码器设计-描述了时间信息如何被纳入每个模型的预测。接下来,我们将重点介绍混合深度学习模型的最新发展,该模型将经过充分研究的统计模型与神经网络组件相结合,以改进任一类别的纯方法。最后,我们概述了深度学习也可以通过时间序列数据促进决策支持的一些方法。
2020-09-27 cs.LG stat.ML
SETTer: Sparse-Encoder Transformer for Long-term Multivariate Time Series Forecasting
RWTH Aachen University(亚琛工业大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
SETTer通过解耦自注意力和混合掩码技术,在单层Transformer架构下有效捕获长期多元时间序列的时空模式,并在88%的基准场景中超越现有最优模型。
2026-09-18 cs.LG
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测,在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型,提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
FATE: Focal-modulated Attention Encoder for Multivariate Time-series Forecasting
GAASH Research Lab(GAASH研究实验室);Department of Information Technology(信息科技系);National Institute of Technology Srinagar(斯里 Nagar国立理工学院)
本文提出FATE,一种新的Transformer架构,用于可靠的多变量时间序列预测。FATE引入了张量化的焦点调节机制,以显式捕捉时间序列中的时空相关性,并通过两个调节分数提高可解释性,通过在七个不同现实世界数据集上基准测试,证明其在长视界多变量气象数据集上的优越性能。
2026-06-04 cs.CV cs.LG
Multi-Task Time Series Forecasting With Shared Attention
George Washington University(乔治华盛顿大学);Shandong University(山东大学);Beihang University(北京航空航天大学)
时间序列预测是许多工业和商业决策过程中的关键组成部分,基于递归神经网络(RNN)的模型在各种时间序列预测任务上取得了令人印象深刻的进展。然而,大多数现有的方法都集中在单任务预测问题上,基于有限的监督目标单独学习,这往往会受到训练实例不足的影响。由于Transformer体系结构和其他基于注意力的模型已经证明了其捕获长期依赖性的强大能力,我们提出了两个基于自注意力的多任务时间序列预测共享方案,可以跨多个任务联合进行训练。我们增加了一个序列的一个外部的公共多头注意力功能,这是更新的所有任务的所有数据的并行Transformer编码器。在多个实际多任务时间序列预测任务上的实验表明,我们提出的架构不仅可以优于最先进的单任务预测基线,而且还优于基于RNN的多任务预测方法。
2021-01-24 cs.LG stat.ML
Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting
School of Computer Science(计算机科学学院);Engineering, VIT-AP University(工程系,VIT-AP大学);Amaravati, Andhra Pradesh, 522241, India(安得拉邦阿马拉瓦蒂,522241,印度)
本文提出基于CNN和注意力机制的片段级分词方法,通过分离局部时间表示学习与全局依赖建模,提升变换器在时间序列预测中的性能。
2026-10-20 cs.AI cs.LG
Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting
University of Southern California(南加州大学);California Institute of Technology(加州理工学院)
时空预测在神经科学、气候和交通领域有着广泛的应用。交通预测是这种学习任务的一个典型例子。这项任务具有挑战性,因为(1)对道路网络的复杂空间依赖性,(2)随着道路条件变化的非线性时间动态,以及(3)长期预测的固有困难。为了解决这些挑战,我们建议将交通流建模为有向图上的扩散过程,并引入扩散卷积循环神经网络(DCRNN),这是一种用于交通预测的深度学习框架,它将交通流的空间和时间依赖性结合起来。具体来说,DCRNN使用图上的双向随机游走来捕获空间依赖性,并且使用具有预定采样的编码器-解码器架构来捕获时间依赖性。我们在两个真实世界的大规模道路网络交通数据集上评估了该框架,并观察到比最先进的基线提高了12% - 15%。
2018-02-22 cs.LG stat.ML
STG2Seq: Spatial-temporal Graph to Sequence Model for Multi-step Passenger Demand Forecasting
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学)
多步乘客需求预测是按需车辆共享服务的关键任务。然而,由于非线性和动态的时空依赖性,在多个时间范围内预测乘客需求通常是具有挑战性的。在这项工作中,我们提出了基于图的多步全市乘客需求预测模型,并使用分层图卷积结构来同时捕获空间和时间相关性。我们的模型由三个部分组成:1)长期编码器,用于对历史乘客需求进行编码; 2)短期编码器,用于导出下一步预测,以生成多步预测; 3)基于注意力的输出模块,用于对动态时间和通道信息进行建模。在三个真实世界数据集上的实验表明,我们的模型始终优于许多基线方法和最先进的模型。
2019-05-24 cs.AI cs.LG stat.ML
Augmented Invertible Koopman Autoencoder for long-term time series forecasting
Helmholtz-Zentrum Hereon(亥姆霍兹赫利昂研究中心);IMT Atlantique(IMT Atlantique学院);Université Grenobles Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔理工学院);Institut Universitaire de France(法国大学研究院);EPITA(EPITA计算机高等学院)
针对可逆库普曼自编码器因归一化流维度保持限制而表达能力不足的问题,本文提出增广可逆库普曼自编码器AIKAE,通过引入额外的不可逆编码器网络扩展潜在状态,并在卫星时间序列和长回看窗口预测基准上验证了其长期预测效果。
2025-06-05 cs.LG stat.ML
Rank Position Forecasting in Car Racing
Indiana University(印第安纳大学);NEC Corporation Japan(日本电气股份有限公司)
预测是具有挑战性的,因为外部因素导致的不确定性存在。本文研究了赛车比赛中的排位预测问题,即预测赛车在未来几圈的排位。在许多因素带来的变化,排名的位置,进站是关键,但不规则和罕见的。我们发现现有的方法,包括统计模型,机器学习回归模型,以及基于编码器-解码器架构的最先进的深度预测模型,在预测方面都有局限性。通过对进站事件的详细分析,提出了一种基于因果分解的深度模型RankNet,将进站事件和排名位置序列分别建模。它还结合了概率预测来模拟每个子模型内部的不确定性。通过大量的实验,RankNet展示了比基线更强的性能改进,例如,MAE持续提高10%以上,并且在适应未知的新数据时也更加稳定。模型优化,性能分析的细节。该方法有望为赛车分析提供有用的预测工具,并为解决一般预测问题中类似的挑战性问题提供参考。
2020-10-23 cs.LG stat.ML
Rethinking Recurrent Neural Networks for Time Series Forecasting: A Reinforced Recurrent Encoder with Prediction-Oriented Proximal Policy Optimization
School of Management, Huazhong University of Science and Technology(华中科技大学管理学院);Center for Applied Mathematics, École des Ponts ParisTech(巴黎高等理工学院应用数学中心);School of Mechanical Engineering, Dalian Jiaotong University(大连交通大学机械工程学院);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
本文提出RRE-PPO4Pred方法,通过强化编码器和改进的PPO算法提升时间序列预测的准确性和模型能力。
2026-01-13 cs.LG cs.NE
Sliding-Window Reordering with Overlap Averaging: A Simple Time-Domain Augmentation for Multivariate Forecasting
Data Science Group, University of Hildesheim(希尔德斯海姆大学数据科学组);Information Systems and Machine Learning Lab (ISMLL), University of Hildesheim(希尔德斯海姆大学信息系统与机器学习实验室)
本文提出TPS,一种简单且模型无关的数据增强方法,通过提取重叠时间片段并基于方差排序选择性洗牌,提升时间序列预测的泛化能力和鲁棒性。
2026-09-04 cs.LG
TIDE: A Physically Diverse 3D Turbulence Benchmark Dataset for Advancing Scientific Machine Learning
University of Alabama(阿拉巴马大学);University of Pittsburgh(匹兹堡大学)
研究人员推出TIDE三维湍流基准数据集,发现现有学习模型在该数据集上表现不佳,仅靠逐点误差无法保证物理保真度,需解决准确性、保真度和条件差距问题。
2026-11-13 cs.LG physics.flu-dyn
ACFormer: Mitigating Non-linearity with Auto Convolutional Encoder for Time Series Forecasting
Pusan National University, Busan, Republic of Korea(釜山国立大学,韩国);Pusan National University, Changwon, Republic of Korea(釜山国立大学,韩国)
ACFormer通过自动卷积编码器结合线性投影与非线性特征提取,提升时间序列预测中对复杂依赖关系和非线性信号的建模能力。
2026-01-28 cs.LG
Hybrid Models for Short-Term Sea-Level Forecasting
University of Padua(帕多瓦大学)
本研究提出结合谐波分析与数据驱动模型的混合框架用于逐小时海平面预报,在六个验潮站评估显示平均误差降低52.9%-54.9%,其中广义可加模型表现最佳,并应用于威尼斯MoSE防洪系统决策。
2026-10-05 stat.AP
Correlated Time Series Forecasting using Deep Neural Networks: A Summary of Results
Aalborg University(奥尔堡大学)
网络物理系统通常由随着时间的推移相互作用的实体组成。与此同时,作为工业过程持续数字化的一部分,各种传感器技术被部署,使我们能够记录时变属性(也称为,时间序列),从而产生相关的时间序列。为了能够对这种相关的时间序列进行准确的预测,本文提出了两种模型,结合卷积神经网络(CNN)和递归神经网络(RNN)。第一个模型在每个单独的时间序列上使用CNN,组合卷积特征,然后在卷积特征之上应用RNN,以实现预测。第二个模型将额外的自动编码器添加到各个CNN中,使第二个模型成为多任务学习模型,提供准确和强大的预测。在两个真实的相关时间序列数据集上的实验表明,所提出的两个模型是有效的,在大多数情况下优于基线。本报告通过提供额外的实验结果,扩展了ACM CIKM 2018上发表的论文“使用多任务深度神经网络进行相关时间序列预测”。
2018-08-30 cs.LG stat.ML
Take an Irregular Route: Enhance the Decoder of Time-Series Forecasting Transformer
Beihang University(北京航空航天大学)
针对时序预测 Transformer 忽视解码器的问题,本文提出 FPPformer,通过自底向上编码器、自顶向下解码器及两类注意力结合增强建模,并在十二个基准上验证其优越性能。
2023-12-10 cs.AI cs.LG
A Memory-Network Based Solution for Multivariate Time-Series Forecasting
National Taiwan University(国立台湾大学);Riken-AIP(理化学研究所人工智能研究中心)
多变量时间序列预测在金融、交通、环境等领域得到了广泛的研究,但传统的预测方法无法对真实数据中的复杂模式或依赖关系进行建模,这引起了人们的关注。为了解决这些问题,提出了各种深度学习模型,主要是基于递归神经网络(RNN)的方法。然而,在有效纳入其他变量信息的同时,捕捉极长期的模式仍然是时间序列预测的一个挑战。此外,缺乏可解释性仍然是深度神经网络模型的一个严重缺点。受记忆网络解决问答任务的启发,我们提出了一个基于深度学习的模型,名为记忆时间序列网络(MTNet),用于时间序列预测。MTNet由一个大内存组件、三个独立的编码器和一个自回归组件组成,用于联合进行训练。此外,设计的注意力机制使MTNet具有高度的可解释性。我们可以很容易地判断出历史数据的哪一部分被引用得最多。
2018-09-06 cs.LG stat.ML
Hybrid Attention Networks for Flow and Pressure Forecasting in Water Distribution Systems
Tsinghua University(清华大学)
多变量遥感时间序列具有复杂的时空相关性,预测具有挑战性。在城市配水系统(WDS)中,已经部署了许多空间相关的传感器来连续收集水力数据。监测流量和压力时间序列的预测对于操作决策、警报和异常检测至关重要。为了解决这个问题,我们提出了一个混合的双阶段时空注意力为基础的递归神经网络(hDS-RNN)。我们的模型由两个阶段组成:一个基于空间注意的编码器和一个基于时间注意的解码器。具体而言,提出了一种混合空间注意力机制,采用沿时间和空间轴的输入。在真实数据集上进行的实验表明,该模型在WDS的流量和压力序列预测中优于9个基线模型。
2020-04-14 cs.LG stat.ML
Implicit Assimilation of Sparse In Situ Data for Dense & Global Storm Surge Forecasting
European Space Agency(欧洲空间局);La Trobe University(拉筹伯大学);Consiglio Nazionale delle Ricerche(国家研究委员会(意大利));Terrarum(特拉伦公司)
本文提出用神经网络隐式同化稀疏现场验潮站数据与粗粒度海洋再分析,构建全球数据集,实现面向无观测站地点的密集全球风暴潮预报。
2024-04-05 cs.AI cs.CV cs.LG
A Lightweight Plug-in Gate for Transformer-Based Time-Series Forecasters
Minjiang University(闽江学院)
本文提出一种轻量级编码器前门控模块,作为即插即用接口调节协变量表示,在零额外调参下提升TimeXer、iTransformer和PatchTST的预测性能,并验证了使用正则化的有效性。
2026-09-21 cs.LG
Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting
University of Verona(维罗纳大学);UniCredit(裕信银行)
针对现有顶尖Transformer时间序列预测架构难同时建模时序与通道间依赖的问题,提出融合通道编码器、时序解码器及多补丁注意力的Sentinel架构,在标准基准上取得更优或相当的性能。
2025-03-22 cs.LG stat.ML
CombinationTS: A Modular Framework for Understanding Time-Series Forecasting Models
Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院计算技术研究所);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学);Northeastern University, Shenyang, China(东北大学);Beijing Normal University - Hong Kong Baptist University United International College, Zhuhai, China(北京师范大学-香港 Baptist大学联合国际学院)
本文提出CombinationTS框架,通过分解模型为输入变换、嵌入、编码器、解码器和输出变换模块,量化各部分性能和稳定性,揭示模型改进的核心驱动因素,发现嵌入设计良好时,无参数的Identity编码器可超越复杂结构。
2026-05-02 cs.LG
Yformer: U-Net Inspired Transformer Architecture for Far Horizon Time Series Forecasting
University of Hildesheim(希尔德斯海姆大学);Technische Universität Berlin(柏林工业大学)
时间序列数据在研究和各种工业应用中无处不在。有效地分析可用的历史数据并提供对遥远未来的见解,使我们能够做出有效的决策。最近的研究已经证明了基于变压器的架构的优越性能,特别是在远地平线时间序列预测的制度。然而,现有技术的稀疏Transformer架构的当前状态不能耦合下采样和上采样过程以产生与输入类似分辨率的输出。我们提出了Yformer模型,基于一种新的Y形编码器-解码器架构,该架构(1)在U-Net启发的架构中使用从缩小的编码器层到相应的上采样解码器层的直接连接,(2)将缩小/上采样与稀疏注意力相结合以捕获长距离效果,以及(3)通过添加辅助重建损失来稳定编码器-解码器堆栈。在四个基准数据集上使用相关基线进行了广泛的实验,证明与单变量和多变量设置的当前最新技术水平相比,平均改善了19.82,18.41%的MSE和13.62,11.85%的MAE。
2022-08-25 cs.LG
Sequence to sequence deep learning models for solar irradiation forecasting
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
光伏(PV)面板的能量输出是太阳辐射和天气参数(如温度和风速等)的函数。太阳辐射的一般测量称为全球水平辐照度(GHI),通常以瓦特/米$^2$报告,是这种间歇性能源的通用指标。准确预测GHI对于可再生能源的可靠电网整合以及电力市场交易是必要的。虽然一些机器学习技术与传统的时间序列预测技术一起被很好地引入,但对于手头的任务,深度学习技术仍然很少被探索。在本文中,我们给深度学习模型适用于序列预测GHI。报告了用于短期预测$\{1-24\}$小时的深度学习模型以及最先进的技术,如梯度提升回归树(GBRT)和前馈神经网络(FFNN)。我们已经检查了时空特征,如风向,风速和邻近位置的GHI,显着提高了深度学习模型的预测精度。在各种序列到序列的编码器-解码器模型中,LSTM表现出色,处理最先进技术的短时间内。
2019-04-30 cs.LG stat.ML
PINN-Cast: Exploring the Role of Continuous-Depth NODE in Transformers and Physics Informed Loss as Soft Physical Constraints in Short-term Weather Forecasting
University of New South Wales(新南威尔士大学)
本文提出连续深度Transformer编码器,结合Neural ODE动态和物理信息损失,提升短期天气预报的准确性与物理一致性。
2026-04-30 cs.CV cs.LG
HAN-Mamba: Hierarchical Selective State Space Networks for Multi-Scale Financial Volatility Forecasting
Babeş-Bolyai University(巴比什-博雅伊大学)
本文提出HAN-Mamba,用Mamba编码器替换HAN-T中的Transformer编码器,在Optiver基准上以更少参数降低RMSPE,并支持更长高频上下文和常数时间推理。
2026-10-08 cs.CE cs.LG
Scene-Conditioned Relation Routing for urban cellular activity forecasting
Xinjiang University(新疆大学)
提出场景条件关系路由框架SCRR-Net,利用城市上下文联合控制空间依赖与跨任务知识迁移,在米兰和特伦托数据集上提升短信、流量和通话预测性能。
2026-09-18 cs.AI cs.LG
KITE: A Knowledge-Injected Temporal Encoder for Time-Series Event Forecasting
ETH Zurich(苏黎世联邦理工学院);Forgis AG(Forgis公司);University of Vienna(维也纳大学)
KITE是一种可切换的知识注入时序编码器,通过协变量和注意力偏置机制将工程师的语义先验注入自监督事件预测器,在时间序列事件预测中提升了域内和跨域性能,为构建跨域预训练时间序列基础模型提供了基础。
2026-10-12 cs.AI cs.LG
Transformer self-attention encoder-decoder with multimodal deep learning for response time series forecasting and digital twin support in wind structural health monitoring
Department of Mechanical Engineering, University of Bath(巴斯大学机械工程系);Department of Civil Engineering, Zhejiang University(浙江大学土木工程系)
本文提出一种基于Transformer的多模态深度学习方法,用于风力结构响应时间序列预测和数字孪生支持,通过捕捉系统时间特性提升结构健康监测的准确性与鲁棒性。
2026-04-02 cs.AI cs.LG eess.SP
LMS-AutoTSF: Learnable Multi-Scale Decomposition and Integrated Autocorrelation for Time Series Forecasting
Linköping University(林雪平大学);Sakarya University(萨卡里亚大学)
针对多尺度时间序列预测,本文提出 LMS-AutoTSF,利用可学习频域双编码器分离趋势与季节成分,并引入滞后差分自相关和通道变换,在保持高精度的同时提升效率。
2025-01-07 cs.AI cs.LG
Zero-shot forecasting of chaotic systems
Santa Fe Institute(圣塔菲研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究评估基础模型的零样本学习能力在混沌系统预测中的表现,发现其在135个混沌系统测试中效果可比定制模型,且能保留混沌吸引子特性,揭示了上下文模仿机制,为复杂系统研究提供了新工具。
2025-03-18 cs.LG nlin.CD physics.comp-ph
Multivariate de Bruijn Graphs: A Symbolic Graph Framework for Time Series Forecasting
Department of Computer Science, Indiana University Bloomington, IN, USA(印第安纳大学布卢明顿分校计算机科学系);College of Science and Engineering, Hamad Bin Khalifa University, Doha, Qatar(哈马德·本·卡西姆大学科学与工程学院);Department of Computer Science, University of Illinois Springfield, IL, USA(伊利诺伊大学斯普林菲尔德分校计算机科学系)
本文提出DRAGON编码器,通过引入多元德布鲁因图将连续时间序列离散化并映射到固定图结构,以符号化结构感知表示增强CNN编码器,从而提升时间序列预测性能。
2025-07-03 cs.LG
Global Deep Forecasting with Patient-Specific Pharmacokinetics
Auton Lab School of Computer Science Carnegie Mellon University(自动化实验室计算机科学学院卡内基梅隆大学);Nixtla;Amazon(亚马逊);University of Pittsburgh Medical Center Division of Cardiac Surgery(匹兹堡大学医学中心心脏外科 division)
本文提出了一种结合患者特异性药代动力学的深度预测方法,通过混合架构和编码器提升血葡萄糖预测的准确性,实验结果显示在模拟和实际数据中均取得显著效果。
2025-12-15 cs.LG q-bio.QM
Revealing the Power of Masked Autoencoders in Traffic Forecasting
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
针对交通预测中的数据稀缺和模型稳定性问题,提出即插即用的时空掩码自编码器框架STMAE,通过双重掩码预训练与微调集成,显著提升多种时空模型的预测精度。
2024-07-28 cs.AI cs.LG
From Noise to Laws: Regularized Time-Series Forecasting via Denoised Dynamic Graphs
PRISM通过结合去噪动态图和物理惩罚正则化,实现了长跨度多变量时间序列预测的稳定与高精度。
2025-12-01 cs.LG
TimeFound: A Foundation Model for Time Series Forecasting
Baidu Research(百度研究院);University of Science and Technology of China(中国科学技术大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
提出基于编码器-解码器transformer的时间序列基础模型TimeFound,采用多分辨率分块策略捕捉多尺度时间模式,在大型语料库上预训练200M和710M参数版本,在多领域未见数据集上实现了更优或具竞争力的零样本预测性能。
2025-03-06 cs.LG
Temporal Saliency Detection Towards Explainable Transformer-based Timeseries Forecasting
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Technische Universität Berlin(柏林工业大学)
本文提出时序显著性检测(TSD)方法,通过在Transformer编码器中引入受U-Net启发的信息收缩与扩展模块,结合注意力机制实现显著性模式的多分辨率分析,有效提升了多视界时间序列预测的可解释性与准确性。
2023-09-15 cs.LG
PFformer: A Position-Free Transformer Variant for Extreme-Adaptive Multivariate Time Series Forecasting
Santa Clara University(圣克拉拉大学)
PFformer是一种无位置Transformer变体,通过EFE和AEE嵌入策略捕捉变量间依赖,在极端自适应多元时间序列预测中较先进模型提升20%-60%。
2025-02-27 cs.AI cs.LG
Synergetic Learning of Heterogeneous Temporal Sequences for Multi-Horizon Probabilistic Forecasting
Shanghai Jiao Tong University(上海交通大学)
时间序列在交通、金融和医疗等应用中无处不在。时间序列经常受到外部因素的影响,特别是以异步事件的形式,使预测变得困难。然而,现有的模型主要是针对同步时间序列或异步事件序列,很难提供一种综合的方法来捕捉它们之间的关系。我们提出了变分协同多视野网络(VSMHN),一种新的深度条件生成模型。为了学习异构序列之间的复杂相关性,设计了一个量身定制的编码器,以结合深度点过程模型和变分递归神经网络的进展。此外,还设计了一种对齐时间编码和辅助转换方案,用于非对齐序列的批量训练。我们的模型可以有效地使用随机变分推理进行训练,并使用Monte-Carlo模拟生成概率预测。此外,我们的模型产生准确,尖锐和更现实的概率预测。我们还表明,建模异步事件序列是至关重要的多地平线的时间序列预测。
2021-01-31 cs.AI cs.LG stat.ML
SAGE: Variate-Wise Semantic Augmentation for Vision-Language Time Series Forecasting
Shanghai Jiao Tong University(上海交通大学)
针对时间序列预测模型缺乏语义知识的问题,提出基于CLIP的SAGE框架,通过双重利用CLIP实现多模态监督,在8个长期基准及M4数据集上取得最优精度。
2026-08-28 cs.CV cs.LG
Deep learning-based multi-output quantile forecasting of PV generation
University of Liège(列日大学)
本文通过利用深度学习的最新突破来开发概率PV预测器。它定制的预测工具,命名为编码器-解码器,实现计算日内多输出PV分位数预测,以有效地捕捉时间相关性。使用分位数回归训练模型,这是一种非参数方法,假设没有概率预测分布的先验知识。该案例研究是由光伏生产监测现场在列日大学(ULiège),比利时。由气候学实验室提供的区域气候模型的天气预报被用作深度学习模型的输入。通过连续排序概率和区间得分定量评估预报质量。结果表明,该架构提高了预测质量,计算效率高,可用于日内决策工具,以实现鲁棒优化。
2021-06-07 cs.LG cs.SY eess.SY
Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem
University of Science and Technology of China(中国科学技术大学);Jiaxing University(嘉兴学院)
Transformer架构在诸如自然语言处理(NLP)和计算机视觉(CV)等许多任务中产生了最先进的结果,因为能够有效地捕获输入序列之间的精确远程依赖性耦合。然而,这种先进的能力,二次的时间复杂度和高内存使用,防止Transformer处理长时间序列预测问题(LTFP)。为了解决这些困难:(1)重新审视了香草自我注意的学习注意模式,基于最大熵原理重新设计了自我注意的计算方法。(ii)本文提出了一种新的稀疏化自注意的方法,该方法可以避免由于随机抽样而丢失更重要的自注意分数。(iii)我们提出了Keys/Values Distilling方法,其动机是原始自注意图中的大量特征是冗余的,这可以进一步降低时间和空间复杂度,并使输入更长的时间序列成为可能。最后,我们提出了一种将编码器-解码器架构与季节趋势分解相结合的方法,即,使用编码器-解码器架构来捕获更具体的季节部分。在多个大规模数据集上的大量实验表明,本文提出的方法明显优于现有方法。我们希望这为Transformer解决LTFP开辟一个新的解决方案,并探索Transformer架构捕获更长时间依赖性的能力。
2023-01-04 cs.LG
GTS_Forecaster: a novel deep learning based geodetic time series forecasting toolbox with python
School of Transportation Engineering, East China Jiao Tong University(东华交通大学交通运输工程学院);Jiangxi Provincial Key Laboratory of Water Ecological Conservation in Headwater Regions(江西省头水地区水生态保育重点实验室);Division of Geodetic Science, School of Earth Sciences, The Ohio State University(地球科学学院地质科学系,俄亥俄州立大学);Institute Dom Luiz, University of Beira Interior(贝拉内里亚大学多姆路易斯研究所);Institute of Meteorology and Climatology, Leibniz University Hannover(汉诺威莱比锡大学气象与气候研究所);Key Laboratory of Poyang Lake Wetland and Watershed Research, Ministry of Education, Jiangxi Normal University(江西省鄱阳湖湿地与流域研究重点实验室,江西省教育厅,江西师范大学)
针对大地测量时间序列非线性、非平稳且不完整的预测难题,提出开源Python包GTS_Forecaster,集成KAN、GNNGRU、TimeGNN等深度学习模型与KTIF间隙填充算法,支持GNSS等数据集的预测与评估,促进了深度学习在大地测量任务中的应用。
2025-09-10 cs.LG
GEANN: Scalable Graph Augmentations for Multi-Horizon Time Series Forecasting
Amazon Forecasting Science(亚马逊预测科学部门);University of Washington(华盛顿大学)
本文提出GEANN方法,利用图神经网络作为编码器的数据增强,通过端到端优化捕捉序列间关系,有效缓解多时段时序预测中的冷启动问题,并在大规模电商需求预测中显著提升冷启动商品表现。
2023-07-07 cs.AI cs.LG