UrbanAI 2025 Challenge: Linear vs Transformer Models for Long-Horizon Exogenous Temperature Forecasting
Yeshiva University(耶鲁大学)
UrbanAI 2025挑战通过对比线性与Transformer模型,发现线性模型在长周期外生温度预测中表现更优,DLinear在所有划分中均取得最佳准确率。
2025-12-11 cs.AI cs.LG
Inter-Series Transformer: Attending to Products in Time Series Forecasting
MIT(麻省理工学院);IBM Research(IBM研究院)
本文提出Inter-Series Transformer,通过跨时间序列注意力和共享多任务网络捕捉产品间交互并缓解稀疏性,在医疗设备供应链案例及公开数据集上提升需求预测性能。
2024-08-07 cs.AI cs.LG
A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
Princeton University(普林斯顿大学);IBM Research(IBM研究院)
我们提出了一个有效的设计基于transformer的多变量时间序列预测和自我监督表示学习模型。它基于两个关键组件:(i)将时间序列分割成子序列级补丁,这些补丁用作Transformer的输入令牌;(ii)通道独立性,其中每个通道包含单个单变量时间序列,该序列在所有序列中共享相同的嵌入和Transformer权重。补丁设计自然有三重好处:本地语义信息保留在嵌入;在相同的回看窗口下,注意力地图的计算和内存使用量二次减少;模型可以参加更长的历史。我们的通道独立补丁时间序列Transformer(PatchTST)可以提高长期的预测精度显着相比,SOTA Transformer为基础的模型。我们还将我们的模型应用于自我监督的预训练任务,并获得了出色的微调性能,在大型数据集上优于监督训练。将一个数据集上的掩码预训练表示转移到其他数据集上也会产生SOTA预测准确性。代码可从以下网址获得:https://github.com/yuqinie98/PatchTST。
2023-03-05 cs.AI cs.LG
A Systematic Review for Transformer-based Long-term Series Forecasting
College of Applied Sciences, Shenzhen University(深圳大学应用技术学院);College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院)
本文系统综述了基于Transformer的长期时间序列预测方法,梳理架构变体、数据集与评估指标,总结训练最佳实践,并展望未来研究方向。
2023-10-31 cs.AI cs.LG
FPTN: Fast Pure Transformer Network for Traffic Flow Forecasting
Southwest University(西南大学)
由于交通流数据具有复杂的时空相关性,交通流预测具有挑战性。现有的基于Transformer的交通流预测方法通常将交通流预测视为多变量时间序列预测。然而,太多的传感器可能会导致维度大于800的向量,这很难在不丢失信息的情况下进行处理。此外,这些方法设计了复杂的机制来捕获MTS中的空间依赖性,导致预测速度缓慢。针对上述问题,本文提出了一种快速纯Transformer网络(FPTN)。首先,交通流数据被划分为沿传感器维而不是时间维的序列。然后,为了充分表示复杂的时空相关性,提出了三种类型的嵌入将这些向量投影到合适的向量空间。然后,为了同时捕获这些向量中复杂的时空相关性,我们使用Transformer编码器并将其与几个层堆叠。使用4个真实数据集和13个基线进行了大量实验,结果表明FPTN在两个指标上优于最先进的方法。与此同时,FPTN的计算时间不到其他最先进的基于Transformer的模型的四分之一,对计算资源的要求也大大降低。
2023-03-14 cs.AI cs.LG
LLMODE: Aligning ODEs with LLMs via Gated Token Injection for Irregular Spatio-Temporal Forecasting
Beihang University(北京航空航天大学)
LLMODE是基于冻结LLM的框架,通过图感知ODE编码器等处理不规则时空数据,在多数据集上表现优异,零样本泛化能力强。
2026-09-01 cs.AI cs.LG
Persistence Initialization: A novel adaptation of the Transformer architecture for Time Series Forecasting
Norwegian University of Science and Technology(挪威科技大学)
时间序列预测是一个重要的问题,有许多现实世界的应用。深度神经网络的集成最近已经实现了令人印象深刻的预测准确性,但是这样大的集成在许多现实世界的设置中是不切实际的。Transformer模型已成功应用于各种具有挑战性的问题。我们提出了一个新的适应原来的Transformer架构,专注于时间序列预测的任务,称为持久性?该模型初始化为一个朴素的持久化模型,通过使用一个乘法门控机制结合剩余跳过连接。我们使用具有ReZero标准化和旋转位置编码的解码器Transformer,但是适应适用于任何自回归神经网络模型。我们评估我们提出的架构上具有挑战性的M4数据集,实现竞争力的性能相比,集成为基础的方法。我们还比较了现有的最近提出的Transformer模型的时间序列预测,表现出优越的性能M4数据集。广泛的消融研究表明,持久性神经网络导致更好的性能和更快的收敛。随着模型大小的增加,只有我们提出的自适应模型在性能上有所提高。我们还进行了额外的消融研究,以确定选择的归一化和位置编码的重要性,并发现使用旋转编码和ReZero归一化是必不可少的良好的预测性能。
2022-08-30 cs.AI cs.LG
DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting
Southwest Jiaotong University(西南交通大学)
时间序列预测在许多现实场景中扮演着重要的角色,例如设备生存周期预测、天气预报和交通流量预测。从最近的研究中可以观察到,各种基于变压器的模型在时间序列预测中表现出显著的效果。然而,仍然存在一些问题限制了基于transformer的模型在时间序列预测任务上的能力:(i)由于其复杂和不稳定的特征表示,直接在原始数据上学习容易受到噪声的影响;(ii)自我注意机制对变化的特征和时间依赖性关注不够。为了解决这两个问题,我们提出了一种基于变换的差分重构注意力模型DRAformer。具体而言,DRAformer具有以下创新:(i)针对差分序列进行学习,通过差分保留清晰稳定的序列特征,并突出序列的变化属性;(ii)重建注意力:综合距离注意力通过可学习的高斯核表示序列距离,分布差异注意力通过将差异序列映射到自适应特征空间计算分布差异,并且两者的组合有效地集中于具有显著关联的序列;(iii)重构的解码器输入,其通过整合变化信息和时间相关性来提取序列特征,从而获得更全面的序列表示。在四个大规模数据集上进行的广泛实验表明,DRAformer的性能优于最先进的基线。
2022-06-11 cs.AI cs.LG
TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting
Beihang University(北京航空航天大学)
时间序列预测对于广泛的实际应用至关重要。最近的研究表明,Transformer在处理这类问题,特别是长序列时间序列输入(LSTI)和长序列时间序列预测(LSTF)问题上的优越性。为了提高Transformer的效率和增强局部性,这些研究将Transformer与CNN进行了不同程度的结合。然而,它们的组合是松散耦合的,并且没有充分利用CNN。为了解决这个问题,我们提出了紧耦合卷积Transformer(TCCT)的概念,以及将变换后的CNN架构应用到Transformer中的三种TCCT架构:(1)CSPAttention:通过将CSPNet与自注意机制融合,自注意机制的计算成本降低了30%,内存使用量减少了50%,同时实现了等同或超越预测精度。(2)扩展因果卷积:该方法是通过用扩张的因果卷积层代替规范卷积层来修改Informer提出的提取操作,以获得指数感受野增长。(3)通过机制:将穿透机制应用于自注意块的堆叠,有助于类transformer模型以可忽略的额外计算成本获得更细粒度的信息。我们在真实数据集上的实验表明,我们的TCCT架构可以大大提高现有的最先进的Transformer模型的时间序列预测的性能,具有更低的计算和内存成本,包括典型的Transformer,LogTrans和Informer。
2022-02-12 cs.AI cs.LG
VarDrop: Enhancing Training Efficiency by Reducing Variate Redundancy in Periodic Time Series Forecasting
VarDrop通过减少周期时间序列预测中的变量子冗余,提升训练效率。该方法利用k-dominant频率哈希进行分组,并通过分层抽样选择代表性token,从而降低计算成本。
2026-04-07 cs.AI cs.LG
A Transformer approach for Electricity Price Forecasting
Ericsson Cognitive Labs(爱立信认知实验室);Institute for Research in Technology (IIT)(技术研究 institute);Comillas Pontifical University(科米拉斯天主教大学)
本文提出纯Transformer模型用于电价预测,无需循环网络,经公平比较验证其优于传统方法,提升可重复性,助力可靠电力系统运行。
2025-09-10 cs.AI cs.LG
Multiple-Resolution Tokenization for Time Series Forecasting with an Application to Pricing
Pricing Optimisation Tesco(定价优化泰科)
本文提出一种多分辨率分词的时间序列Transformer,通过多尺度分块、时变变量模块和混合器捕获跨序列信息,并在大型零售商定价预测中超越现有模型。
2025-04-21 cs.AI cs.LG
LATST: Are Transformers Necessarily Complex for Time-Series Forecasting
Dizhen Liang(独立研究者)
针对 Transformer 在多变量长期预测中逊于线性基线的问题,本文提出 LATST 方法缓解熵坍缩与训练不稳定,在多个真实数据集上超越现有最优 Transformer 模型,并以更少参数达到竞争性能。
2025-07-08 cs.AI cs.LG
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group(阿里巴巴集团)
本文提出Stecformer模型,通过半自适应图的时空编码提取器和级联解码预测器CDP,解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题,在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
Global Transformer Architecture for Indoor Room Temperature Forecasting
SINTEF AS(挪威科技工业研究院);Norwegian University of Science and Technology(挪威科技大学)
本文首次提出一种全局Transformer架构用于多房间建筑室内温度预测,通过在全部房间数据上统一训练单一模型,替代多房间专用模型,从而提升预测精度、简化部署,并助力建筑能耗优化与温室气体减排。
2023-10-31 cs.AI cs.LG
TripCast: Pre-training of Masked 2D Transformers for Trip Time Series Forecasting
Trip.com Group(携程集团)
针对旅游业具有前置时间特性的二维出行时间序列,提出 TripCast 建模范式,通过掩码与重建进行二维 Transformer 预训练,在域内和域外预测中取得优异性能。
2024-10-24 cs.AI cs.LG
Dateformer: Time-modeling Transformer for Longer-term Series Forecasting
Sichuan University(四川大学)
Transformers在长期序列预测方面表现出了令人印象深刻的实力。现有的预测研究主要集中在将过去的短期子序列(回顾窗口)映射到未来的序列(预测窗口)。一旦训练完成,较长的训练数据集时间序列将被丢弃。模型只能依赖回看窗口信息进行推理,这阻碍了模型从全局角度分析时间序列。而且Transformers使用的这些窗口非常窄,因为它们必须对其中的每个时间步长进行建模。在这种逐点处理风格下,扩大窗口将迅速耗尽其模型容量。对于细粒度时间序列,这导致信息输入和预测输出的瓶颈,这对长期序列预测是致命的。为了克服这个障碍,我们提出了一个全新的方法,利用Transformer的时间序列预测。具体来说,我们分裂成补丁的时间序列的一天和改革逐点逐块处理,这大大提高了Transformers的信息输入和输出。为了进一步帮助模型在推理过程中利用整个训练集的全局信息,我们提取信息,将其存储在时间表示中,并将序列替换为时间表示作为主要建模实体。我们设计的时间建模Transformer -Datemformer在7个真实世界数据集上产生了最先进的精度,相对提高了33.6%,并将最大预测范围扩展到半年。
2023-02-21 cs.AI cs.LG
HAELT: A Hybrid Attentive Ensemble Learning Transformer Framework for High-Frequency Stock Price Forecasting
针对高频股价预测的非平稳、噪声与波动难题,提出融合ResNet降噪、时间自注意力与LSTM-Transformer混合核心的自适应集成框架HAELT,在AAPL小时级数据上取得最高F1分数,可有效识别涨跌走势。
2025-06-09 cs.AI cs.LG
Flight Demand Forecasting with Transformers
The MITRE Corporation(MITRE公司);Federal Aviation Administration(美国联邦航空管理局)
Transformers已经成为自然语言处理(NLP)领域事实上的标准。它们在计算机视觉和其他领域也获得了发展势头。Transformers可以使人工智能(AI)模型动态地关注其输入的某些部分,从而更有效地进行推理。受Transformers成功的启发,我们采用这种技术来预测多个视野中的战略航班起飞需求。这项工作是为了支持MITRE开发的移动应用程序Pacer,该应用程序向通用航空(GA)飞行运营商显示预测的起飞需求,以便他们能够更好地了解繁忙时期起飞延误的可能性。Pacer先前设计的基于规则的预测方法的现场演示表明,发车需求的预测精度仍有改进的空间。本研究致力于从两个关键方面提高预测精度:更好的数据源和鲁棒的预测算法。我们利用两个数据源,航空系统性能评估(ASPM)和全系统信息管理(SWIM),作为我们的输入。然后,我们训练预测模型与时间融合Transformer(TFT)为五个不同的机场。案例研究表明,TFT可以比传统的预测方法表现得更好,并且可以在不同的机场进行更好的预测,并具有更好的可解释性。
2021-11-04 cs.AI cs.LG
Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting
School of Computer Science(计算机科学学院);Engineering, VIT-AP University(工程系,VIT-AP大学);Amaravati, Andhra Pradesh, 522241, India(安得拉邦阿马拉瓦蒂,522241,印度)
本文提出基于CNN和注意力机制的片段级分词方法,通过分离局部时间表示学习与全局依赖建模,提升变换器在时间序列预测中的性能。
2026-10-20 cs.AI cs.LG
PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
针对时间序列预测中高维数据和长期依赖的挑战,提出PSformer模型,通过参数共享减少训练参数并引入时空分段注意力捕捉局部依赖,在基准数据集上准确性和可扩展性优于现有方法。
2025-02-11 cs.AI cs.LG
Spatio-Temporal Wind Speed Forecasting using Graph Networks and Novel Transformer Architectures
University of Oslo(奥斯陆大学);Institute for Energy Systems (IFE)(能源系统研究所)
这项研究的重点是挪威大陆架的多步时空风速预报。该研究旨在通过不同测量站的相对物理位置来利用空间依赖性,以改善当地的风力预报。我们的多步预测模型可以生成10分钟、1小时或4小时的预测,分辨率为10分钟,这意味着模型可以为预测的未来趋势生成更多信息的时间序列。一个图神经网络(GNN)架构被用来提取空间依赖性,不同的更新函数来学习时间相关性。这些更新功能是使用不同的神经网络架构来实现的。Transformer就是这样一种体系结构,近年来,它在序列建模中变得越来越流行。为了更好地进行时间序列预测,已经提出了各种修改,其中本研究的重点是Informer,LogSparse Transformer和Autoformer。这是LogSparse Transformer和Autoformer首次应用于风预测,也是首次在风预测的时空设置中制定这些或Informer。通过与时空长短期记忆(LSTM)和多层感知器(MLP)模型进行比较,研究表明,使用改变后的Transformer架构作为GNN中更新函数的模型能够超越这些模型。此外,我们提出了快速傅立叶Transformer(FF Transformer),这是一种新的Transformer架构的基础上,信号分解,并由两个单独的流,分别分析的趋势和周期成分。FFTransformer和Autoformer在10分钟和1小时的预测中取得了优异的结果,FFT…
2022-12-30 cs.AI cs.LG
EVOTS: Evolutionary Transformer Search for Time Series Forecasting
University of North Carolina Wilmington(北卡罗来纳大学威尔明顿分校)
提出进化神经架构搜索框架EVOTS,通过模块化基因组表示和修复机制自动发现任务自适应的Transformer类架构,在ETT数据集多变量预测中达到竞争性性能。
2026-07-02 cs.AI cs.LG cs.NE
From Tokenizer Bias to Backbone Capability: A Controlled Study of LLMs for Time Series Forecasting
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学);Wuhan University(武汉大学)
本文通过设计三个具有相同架构但不同预训练策略的模型,研究了LLM在时间序列预测中的性能,发现其表现有限,无法超越专门训练的模型。
2026-03-06 cs.AI cs.LG
Transformer Training Strategies for Forecasting Multiple Load Time Series
Institute for Automation and Applied Informatics(自动化与应用信息研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对单用户负荷数据有限的问题,提出基于多用户数据训练全局单变量Transformer的迁移学习策略,在两个数百用户数据集上误差较现有策略低12.8%-21.8%,验证了该策略下Transformer的负荷预测有效性。
2023-07-25 cs.AI cs.LG
Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
本文提出Seg-MoE,通过分段式混合专家机制提升时间序列预测的准确性,验证了分段路由在捕捉长期时间动态中的有效性。
2026-03-14 cs.AI cs.LG
Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
Tsinghua University(清华大学)
延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。现有的基于transformer的模型采用各种自注意机制来发现远程依赖关系。然而,长期未来的复杂时间模式阻止了模型找到可靠的依赖关系。此外,Transformers必须采用稀疏版本的逐点自关注的长序列效率,导致信息利用瓶颈。除了Transformers之外,我们还将Autoformer设计为具有自相关机制的新型分解架构。我们打破了序列分解的预处理惯例,并将其更新为深层模型的基本内部块。这种设计使Autoformer具有复杂时间序列的渐进分解能力。进一步,受随机过程理论的启发,设计了基于序列周期性的自相关机制,在子序列层次上进行依赖发现和表示聚合。自相关在效率和准确性方面都优于自我注意。在长期预测中,Autoformer具有最先进的准确性,在六个基准上相对提高了38%,涵盖五个实际应用:能源,交通,经济,天气和疾病。代码可在以下存储库中获得:\url{https://github.com/thuml/Autoformer}。
2022-01-07 cs.AI cs.LG
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Data Science, Fudan University(复旦大学上海市数据科学重点实验室);Xiaohongshu Inc.(小红书公司)
本文提出PENGUIN,一种周期-嵌套组注意力机制,用于提升Transformer在长期时间序列预测中的性能,通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
HDT: Hierarchical Discrete Transformer for Multivariate Time Series Forecasting
College of Computing and Data Science, Nanyang Technological University (NTU)(南洋理工大学计算与数据科学学院);Webank-NTU Joint Research Institute on Fintech, NTU(微众银行-南洋理工大学金融科技联合研究院);Tencent AI Lab(腾讯人工智能实验室)
针对高维多变量时间序列预测中生成模型扩展难、预测长度受限的问题,提出HDT分层离散Transformer框架,通过离散token表示和分层建模延长预测长度并提升性能,实验验证其有效性。
2025-02-12 cs.AI cs.LG
FISformer: Replacing Self-Attention with a Fuzzy Inference System in Transformer Models for Time Series Forecasting
Computer Engineering Department, Gaziantep University(加扎莱普大学计算机工程系)
FISFormer通过模糊推理机制替代传统注意力机制,提升时间序列预测中对不确定性和非线性依赖的建模能力,实验显示其在准确性、鲁棒性和可解释性上优于现有Transformer变体。
2026-03-23 cs.AI cs.LG
Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting
Yale University(耶鲁大学)
基于图的交通流预测在交通系统、计算机网络等领域有着广泛的应用。由于复杂的时空相关性和非线性的交通模式,交通预测具有很大的挑战性。现有的工作大多是通过考虑空间相关性和时间相关性分别建模这种时空依赖性,而不能建模的直接时空相关性。受最近在图域中成功的Transformers的启发,在本文中,我们提出了直接使用本地多头自注意力的时空图上的跨时空相关性建模。为了降低时间复杂度,我们将注意力感受野设置为空间相邻的节点,并且我们还引入了自适应图来捕获隐藏的时空依赖性。基于这些注意力机制,我们提出了一种新的自适应图时空Transformer网络(ASTTN),它堆叠多个时空注意力层,以应用自注意力的输入图,其次是线性层的预测。在公共交通网络数据集METR-LA PEMS-BAY、PeMSD 4和PeMSD 7上的实验结果表明了该模型的优越性能。
2022-07-09 cs.AI cs.LG
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测,在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型,提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
Unified Training of Universal Time Series Forecasting Transformers
Salesforce AI Research(Salesforce AI研究院);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
本文提出Moirai,一种基于掩码编码器的通用时间序列预测Transformer,通过跨频率学习等改进,在大规模数据集LOTSA上训练,实现零样本预测性能媲美全样本模型。
2024-05-22 cs.AI cs.LG
Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting
Alibaba Group(阿里巴巴集团);Meta Platforms, Inc.(元平台公司)
本文提出Sparse-VQ Transformer,用稀疏向量量化替代FFN层并结合RevIN,减少噪声影响和参数,在十个基准上MAE降低7.84%和4.17%,可集成于现有模型提升预测性能。
2024-02-08 cs.AI cs.LG
PT-Tuning: Bridging the Gap between Time Series Masked Reconstruction and Forecasting via Prompt Token Tuning
State Grid Smart Grid Research Institute Co.Ltd.(国网智能电网研究院有限公司);Wuhan Nari Limited Liability Company of State Grid Electric Power Research Institute(国网电力科学研究院武汉南瑞有限责任公司);State Grid Inner Mongolia East Power Co., Ltd(国网内蒙古东部电力有限公司);Electric Power Research Institute of State Grid Anhui Electric Power Co., Ltd(国网安徽电力科学研究院);State Grid Anhui Ultra High Voltage Company(国网安徽超高压公司)
针对时间序列自监督学习中掩码重建与预测任务不一致的问题,提出PT-Tuning范式,通过保留预训练掩码令牌统一任务目标、添加少量可训练提示令牌适配难度,在真实数据集上取得SOTA性能。
2023-11-07 cs.AI cs.LG
SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting
Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences(新疆物理化学技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Xinjiang Laboratory of Minority Speech and Language Information Processing(新疆少数民族语言信息处理实验室)
SCFormer通过在Transformer的线性变换中引入时间约束并利用HiPPO处理累积历史状态,解决了通道级自注意力缺乏时间约束和未充分利用历史序列的问题,在多元时间序列预测上显著优于主流基线。
2025-05-05 cs.AI cs.LG
Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering
Department of Mathematics(数学系);University of California, Irvine(加州大学 Irvine 分校);Irvine, CA 92617
本文提出在Transformer模型前加入可学习频谱滤波器,提升长时间序列预测性能,减少计算资源消耗并提高模型效率。
2025-08-27 cs.AI cs.LG
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架,在保持表达能力的同时降低复杂度,实验显示平均性能提升12.4%,参数量减少61.3%。
2024-12-16 cs.AI cs.LG
Transformer Multivariate Forecasting: Less is More?
University of Luxembourg(卢森堡大学);Monash University(莫纳什大学);Interdisciplinary Centre for Security, Reliability and Trust(安全、可靠与信任跨学科中心)
针对多变量预测中Transformer模型处理复杂数据集时噪声高、耗时长的问题,提出PCA增强的Transformer预测框架,在多个SOTA模型和真实数据集上实现了预测误差与运行时间的双降低。
2024-03-07 cs.AI cs.LG
A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models
University of Luxembourg(卢森堡大学);Monash University(莫纳什大学)
本文提出统一的超参数优化流水线,用于基于Transformer的时间序列预测模型,并在多个SOTA模型和基准数据集上验证其通用性与实用性。
2025-01-02 cs.AI cs.LG
Considering Nonstationary within Multivariate Time Series with Variational Hierarchical Transformer for Forecasting
National Laboratory of Radar Signal Processing(雷达信号处理国家重点实验室);Xidian University(西安电子科技大学)
针对现有多变量时间序列预测方法忽略固有非平稳性、缺乏随机性的问题,提出融合层次概率生成模块与Transformer的HTV-Trans模型,有效提升预测性能。
2024-03-08 cs.AI cs.LG
Earthformer: Exploring Space-Time Transformers for Earth System Forecasting
Hong Kong University of Science and Technology(香港科技大学);Amazon Web Services(亚马逊云科技);Rutgers University(罗格斯大学)
传统上,地球系统(例如,天气和气候)预报依赖于具有复杂物理模型的数值模拟,因此计算昂贵并且需要领域专业知识。随着时空地球观测数据在过去十年中的爆炸性增长,应用深度学习(DL)的数据驱动模型在各种地球系统预测任务中表现出令人印象深刻的潜力。作为一种新兴的深度学习架构,Transformer尽管在其他领域取得了广泛的成功,但在该领域的采用却有限。在本文中,我们提出了Earthformer,一个用于地球系统预测的时空Transformer。Earthformer基于一个通用的,灵活的和高效的时空注意力块,称为立方体注意力。其思想是将数据分解为长方体,并并行应用长方体级别的自注意力。这些长方体进一步与全局向量的集合相连接。我们在MovingMNIST数据集和一个新提出的混沌N体MNIST数据集上进行实验,以验证立方体注意力的有效性,并找出Earthformer的最佳设计。对两个真实世界的降水临近预报和厄尔尼诺/南方涛动(ENSO)预报基准的实验表明,Earthformer达到了最先进的性能。代码可用:https://github.com/amazon-science/earth-forecasting-transformer。
2023-03-01 cs.AI cs.CV cs.LG
TrackGPT -- A generative pre-trained transformer for cross-domain entity trajectory forecasting
Illumina Consulting Group(Illumina咨询集团)
本研究提出基于GPT的跨域实体轨迹预测模型TrackGPT,仅需位置和时间特征即可在海事、航空等领域实现高精度长短期预测,在准确性、可靠性和模块化上优于现有深度学习方法,验证了GPT架构在轨迹预测领域的潜力。
2024-01-29 cs.AI cs.LG
Forecaster: A Graph Transformer for Forecasting Spatial and Time-Dependent Data
Carnegie Mellon University(卡内基梅隆大学)
空间和时间相关数据在许多应用中都受到关注。由于其复杂的空间相关性、长距离时间相关性、数据非平稳性和数据异构性,该任务是困难的。为了解决这些挑战,我们提出了预测器,一个图形Transformer架构。具体来说,我们从学习图的结构开始,该结构简单地表示不同位置的数据之间的空间依赖性。基于图的拓扑结构,我们稀疏的Transformer占的空间依赖性,长距离的时间依赖性,数据的非平稳性,和数据的异构性的强度。我们在预测出租车乘车需求的问题中评估了Forecaster,并表明我们提出的架构显着优于最先进的基线。
2020-02-21 cs.AI cs.LG stat.ML
Are Self-Attentions Effective for Time Series Forecasting?
Seoul National University(首尔大学);Chung-Ang University(中央大学)
本文质疑自注意力在时间序列预测中的有效性,提出仅用交叉注意力的CATS架构,通过消除自注意力并引入未来视界依赖查询与参数共享,在减少参数和内存的同时提升了长期预测精度。
2024-12-23 cs.AI cs.LG
Advancing Long-Term Multi-Energy Load Forecasting with Patchformer: A Patch and Transformer-Based Approach
School of Mathematics, Statistics and Actuarial Science(数学、统计与精算科学学院);University of Essex(埃塞克斯大学);Alliance Manchester Business School(曼彻斯特联盟商学院);University of Manchester(曼彻斯特大学)
针对长期多能源负荷预测需求,提出融合补丁嵌入与Transformer架构的Patchformer模型,通过分块处理时间序列提升语义依赖捕捉能力,在多数据集上取得更优预测精度,且能有效利用序列长度与能源 interdependence 提升性能。
2024-04-16 cs.AI cs.LG
PFformer: A Position-Free Transformer Variant for Extreme-Adaptive Multivariate Time Series Forecasting
Santa Clara University(圣克拉拉大学)
PFformer是一种无位置Transformer变体,通过EFE和AEE嵌入策略捕捉变量间依赖,在极端自适应多元时间序列预测中较先进模型提升20%-60%。
2025-02-27 cs.AI cs.LG
Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization
Carnegie Mellon University(卡内基梅隆大学);AWS AI Labs(AWS人工智能实验室);Amazon(亚马逊);UC Berkeley(加州大学伯克利分校);New York University(纽约大学)
针对时间序列预测基础模型的Token化问题,提出基于小波的WaveToken方法,通过缩放分解、阈值量化小波系数并预训练自回归模型,在42个数据集上实现更优精度与泛化能力,能捕捉复杂时间模式。
2024-12-06 cs.AI cs.LG
Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics
University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);Digital Financial Information Technology Co.LTD(数字金融信息技术有限公司);Northern Arizona University(北亚利桑那大学)
针对Transformer在时间序列预测中难捕捉长依赖、处理稀疏特征的问题,本文融合Mamba与Transformer提出MAT模型,结合二者长短程捕捉优势,在天气数据集上预测精度、扩展性和内存效率均优于现有方法。
2024-09-13 cs.AI cs.LG
xLSTMTime : Long-term Time Series Forecasting With xLSTM
University of Bridgeport(布里奇波特大学)
针对Transformer类长期时间序列预测模型的局限及线性模型带来的挑战,本文将带指数门控与改进记忆结构的xLSTM适配为xLSTMTime,在多数据集上优于前沿模型,为该任务提供了有竞争力的循环架构方案。
2024-08-12 cs.AI cs.LG
TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables
BNRist
针对现实场景中仅靠内生变量不足以准确预测的问题,提出 TimeXer 模型,通过巧妙设计的嵌入层融合外生变量,利用 patch 级自注意力与变量级交叉注意力增强 Transformer,在 12 个基准上达到 SOTA。
2024-11-11 cs.AI cs.LG
Ister: Linear Transformer for Efficient Multivariate Time Series Forecasting
Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));ShenZhen University(深圳大学);Shenzhen Energy Group Co., Ltd.(深圳能源集团有限公司);South China University of Technology(华南理工大学)
Ister提出了一种线性复杂度的注意力机制和倒置季节趋势分解策略,提升多变量时间序列预测的准确性和效率,实验证明其在多个基准上达到最优性能。
2026-05-09 cs.AI cs.LG
TENT: Tensorized Encoder Transformer for Temperature Forecasting
Maastricht University(马斯特里赫特大学);Mathematics Centre Maastricht(马斯特里赫特数学中心)
可靠的天气预报在科学、商业和社会中具有重要意义。用于天气预测任务的最佳性能数据驱动模型依赖于循环或卷积神经网络,其中一些包含注意力机制。在这项工作中,我们介绍了一种新的模型的基础上Transformer架构的天气预报。建议的张量编码器Transformer(TENT)模型配备了张量注意力,因此,它利用天气数据的时空结构,通过处理它在多维张量格式。我们表明,与经典的编码器Transformer、3D卷积神经网络、LSTM和卷积LSTM相比,提出的TENT模型可以更好地学习所研究的温度预测任务的天气数据的底层复杂模式。在两个真实天气数据集上进行了实验。这些数据集由美国、加拿大和欧洲气象站的历史测量数据组成。第一个数据集包含2012年10月至2017年11月期间美国和加拿大30个城市的天气属性的每小时测量值。第二个数据集包含2005年5月至2020年4月期间欧洲18个城市天气属性的每日测量结果。两个注意力分数的基础上获得理发注意力和可视化,以阐明我们的模型的决策过程,并提供洞察力的知识,最重要的城市的目标城市。
2022-02-21 cs.AI cs.LG
Expert System for Bitcoin Forecasting: Integrating Global Liquidity via TimeXer Transformers
RV College of Engineering (RVCE)(RV工程学院)
本文提出通过整合全球流动性提升比特币长期价格预测的专家系统,采用TimeXer架构实现条件化预测模型,实验表明其在长期内预测表现优于传统模型。
2026-01-11 cs.AI cs.LG