Premonition Net, A Multi-Timeline Transformer Network Architecture Towards Strawberry Tabletop Yield Forecasting
University of Lincoln（林肯大学）；University of Aberdeen（阿伯丁大学）
产量预测是产量优化的关键第一步，对更广泛的食品供应链、采购、价格谈判、物流和供应都有重要影响。然而，产量预测是出了名的困难，而且往往不准确。预感网是一个多时间线，时间顺序的处理过去，现在和未来的预感的方法。我们展示了这种结构与Transformers相结合如何实现关键的产量预测能力，以提高粮食安全，降低价格，减少浪费。我们发现数据的可用性是一个持续的困难，但是使用我们的预感网络和我们自己收集的数据，我们提前3周获得了产量预测，在我们最新的季节中，测试集RMSE损失约为0.08。
2022-11-15 cs.LG
Extreme Adaptive Transformer for Time Series Forecasting
Department of Computer Science, Missouri State University（密苏里州立大学计算机科学系）
针对时间序列中罕见极端事件预测难题，提出Exformer框架，通过包含局部、步长和极端三个稀疏分量的极端自适应注意力机制，显式建模正常与极端事件的时间依赖，在四个水文数据集上实现更优的3天预测性能。
2026-07-03 cs.LG
EMAformer: Enhancing Transformer through Embedding Armor for Time Series Forecasting
针对iTransformer在多变量时间序列预测中落后于MLP模型的问题，提出EMAformer通过嵌入装甲引入三个归纳偏置增强Transformer，在12个基准上实现SOTA，平均降低2.73% MSE和5.15% MAE，提升Transformer方法实用性。
2025-11-11 cs.LG
A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting
Shanghai Jiao Tong University（上海交通大学）
多变量时间序列预测（MTSF）是许多实际应用中的一个基本问题。近年来，Transformer已成为MTSF的事实上的解决方案，特别是对于长期的情况。然而，除了一个正向操作之外，现有MTSF Transformer架构中的基本配置几乎没有经过仔细验证。在这项研究中，我们指出，目前的令牌化策略在MTSF Transformer架构忽略了令牌的均匀性感应偏置的Transformers。因此，普通MTSF Transformer难以捕获时间序列中的细节，表现出较差的性能。基于这一观察，我们对普通MTSF Transformer的基本架构进行了一系列的改进。我们改变了有缺陷的标记化策略，以及解码器结构和嵌入。令人惊讶的是，进化的简单Transformer架构是高度有效的，其成功地避免了普通MTSF Transformer中的过平滑现象，实现了更详细和准确的预测，并且甚至显著优于为MTSF精心设计的最先进的Transformers。
2022-12-06 cs.LG
Multi-resolution Time-Series Transformer for Long-term Forecasting
McGill University（麦吉尔大学）；Mila（米拉研究所）；ILLS
针对时间序列预测中片段大小影响不同频率模式学习的问题，提出多分支架构MTST，同时建模多分辨率时序模式并采用相对位置编码提取多尺度周期成分，在真实数据集上优于现有技术。
2024-03-22 cs.LG
UrbanAI 2025 Challenge: Linear vs Transformer Models for Long-Horizon Exogenous Temperature Forecasting
Yeshiva University（耶鲁大学）
UrbanAI 2025挑战通过对比线性与Transformer模型，发现线性模型在长周期外生温度预测中表现更优，DLinear在所有划分中均取得最佳准确率。
2025-12-11 cs.AI cs.LG
W-Transformers : A Wavelet-based Transformer Framework for Univariate Time Series Forecasting
Sorbonne Center for Artificial Intelligence（索邦人工智能中心）；Sorbonne University Abu Dhabi（阿布扎比索邦大学）
本文提出W-Transformer框架，通过最大重叠离散小波变换分解非平稳单变量时间序列，并在分解分量上构建局部Transformer，以捕捉非平稳性与长程非线性依赖，在多个基准数据集上显著优于基线预测器，且适用于小样本场景。
2022-09-08 cs.LG econ.EM eess.SP
NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting
虽然Transformer在广泛的领域特别是自然语言处理（NLP）领域取得了突破性的成功，但将其应用于时间序列预测仍然是一个巨大的挑战。在时间序列预测中，对标准Transformer模型进行自回归解码不可避免地会引入巨大的累积误差。此外，利用Transformer处理问题中的时空依赖性仍然面临着困难。为了解决这些限制，这项工作是第一次尝试提出一个非自回归Transformer架构的时间序列预测，旨在克服时间延迟和累积误差的问题，在规范的Transformer。此外，本文提出了一种新的时空注意力机制，通过学习的时间影响图来搭建一座桥梁，填补时空注意力之间的空白，从而实现时空依赖的一体化处理。从经验上讲，我们在以自我为中心的多样化未来定位数据集上评估了我们的模型，并在实时性和准确性方面展示了最先进的性能。
2021-05-29 cs.LG stat.ML
MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting
Layer 6 AI；University of Toronto（多伦多大学）；The Vector Institute（向量研究所）
提出MultiResFormer，通过自适应选择最优patch长度并利用多分支周期性编码，在长期和短期预测中优于现有Transformer和CNN基线，且参数更少。
2024-02-08 cs.LG
Distributed Lag Transformer based on Time-Variable-Aware Learning for Explainable Multivariate Time Series Forecasting
Changwon National University（昌原国立大学）
提出DLFormer架构，通过集成分布式滞后嵌入和时间变量感知学习机制，在十个数据集上实现了高精度且可解释的多变量时间序列预测。
2025-08-13 cs.LG
Inter-Series Transformer: Attending to Products in Time Series Forecasting
MIT（麻省理工学院）；IBM Research（IBM研究院）
本文提出Inter-Series Transformer，通过跨时间序列注意力和共享多任务网络捕捉产品间交互并缓解稀疏性，在医疗设备供应链案例及公开数据集上提升需求预测性能。
2024-08-07 cs.AI cs.LG
STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting
Southern University of Science and Technology（南方科技大学）；The University of Tokyo（东京大学）；University of Technology Sydney（悉尼科技大学）
针对交通预测中捕捉复杂时空模式的难题，本研究提出时空自适应嵌入组件，搭配普通Transformer构建的STAEformer在5个真实数据集上达SOTA，验证了该嵌入在捕捉时空关联与时序信息上的关键作用。
2023-10-08 cs.LG
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden（计算机与信息科学系（IDA）、REAL、AIICS、利厄普大学，瑞典）
本文实证比较预训练大规模时间序列模型（如Moirai、TimeGPT）与传统小规模Transformer在多个基准上的表现，揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
Weather Maps as Tokens: Transformers for Renewable Energy Forecasting
IFAB Foundation（IFAB基金会）
针对现有可再生能源预测方法难以融合天气时空特征的问题，提出将天气图编码为Transformer令牌的预测方法，相比ENTSO-E运营预测大幅降低风、光预测RMSE，已上线实时预测仪表盘。
2025-11-19 cs.LG
Probabilistic Decomposition Transformer for Time Series Forecasting
Southeast University（东南大学）
时间序列预测在灾害预警、天气预报、能源消耗等许多领域都具有重要意义。基于Transformer的模型被认为是序列建模领域的革命。然而，时间序列的复杂时间模式阻碍了模型挖掘可靠的时间依赖。此外，Transformer的自回归形式在推理步骤中引入了累积误差。在本文中，我们提出了概率分解Transformer模型，结合了Transformer与条件生成模型，它提供了复杂的时间序列的层次和可解释的概率预测。Transformer用于学习时间模式并实现初级概率预测，而条件生成模型用于通过引入潜在空间特征表示来实现非自回归分层概率预测。此外，条件生成模型从潜在空间中的概率分布重建序列的典型特征，例如季节性和趋势项，以实现复杂的模式分离并提供可解释的预测。在多个数据集上进行的大量实验证明了该模型的有效性和鲁棒性，表明该模型与现有技术相比具有优势。
2022-10-31 cs.LG
DeepKoopFormer: A Koopman Enhanced Transformer Based Architecture for Time Series Forecasting
Helmholtz Center for Environmental Research-UFZ（海德堡环境研究中心-UFZ）；Delft Center for Systems and Control（代尔夫特系统与控制中心）；School of Engineering, University of Pittsburgh（匹兹堡大学工程学院）
DeepKoopFormer结合Transformer与Koopman算子理论，通过谱约束线性动态和结构正则化实现稳定可解释的高维时间序列预测，在多个数据集上优于LSTM和基线Transformer。
2025-08-04 cs.LG
A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
Princeton University（普林斯顿大学）；IBM Research（IBM研究院）
我们提出了一个有效的设计基于transformer的多变量时间序列预测和自我监督表示学习模型。它基于两个关键组件：（i）将时间序列分割成子序列级补丁，这些补丁用作Transformer的输入令牌;（ii）通道独立性，其中每个通道包含单个单变量时间序列，该序列在所有序列中共享相同的嵌入和Transformer权重。补丁设计自然有三重好处：本地语义信息保留在嵌入;在相同的回看窗口下，注意力地图的计算和内存使用量二次减少;模型可以参加更长的历史。我们的通道独立补丁时间序列Transformer（PatchTST）可以提高长期的预测精度显着相比，SOTA Transformer为基础的模型。我们还将我们的模型应用于自我监督的预训练任务，并获得了出色的微调性能，在大型数据集上优于监督训练。将一个数据集上的掩码预训练表示转移到其他数据集上也会产生SOTA预测准确性。代码可从以下网址获得：https://github.com/yuqinie98/PatchTST。
2023-03-05 cs.AI cs.LG
Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case
Google, LLC（谷歌有限责任公司）
本文提出了一种新的时间序列预测方法。时间序列数据在许多科学和工程学科中普遍存在。时间序列预测是时间序列数据建模的一项重要任务，也是机器学习的一个重要领域。在这项工作中，我们开发了一种新的方法，采用基于transformer的机器学习模型来预测时间序列数据。这种方法的工作原理是利用自我注意力机制从时间序列数据中学习复杂的模式和动态。此外，它是一个通用的框架，可以应用于单变量和多变量时间序列数据，以及时间序列嵌入。使用流感样疾病（ILI）预测作为案例研究，我们表明，我们的方法产生的预测结果是有利的国家的最先进的。
2020-01-23 cs.LG stat.ML
S2TX: Cross-Attention Multi-Scale State-Space Transformer for Time Series Forecasting
Duke University（杜克大学）
针对多变量时间序列预测中变量独立处理、多尺度表示无交互的问题，提出S2TX模型，整合Mamba与带局部窗口注意力的Transformer并引入交叉注意力机制，在7个基准数据集上实现稳健SOTA结果且内存占用低。
2025-02-17 cs.LG
Data-Efficient Realized Volatility Forecasting with Vision Transformers
Stanford University（斯坦福大学）
本文探索将视觉Transformer（ViT）应用于期权隐含波动率曲面，以预测未来30天已实现波动率，初步验证其能学习季节性模式与非线性特征，为期权数据Transformer建模提供了有前景的方向。
2025-11-04 cs.CV cs.LG
S$^2$Transformer: Scalable Structured Transformers for Global Station Weather Forecasting
Harbin Institute of Technology（哈尔滨工业大学）；Swiss Data Science Center（瑞士数据科学中心）
针对全球站点天气预报中空间相关性建模不足的问题，提出S$^2$Transformer，通过空间结构化注意力块划分子图并传递消息，实现可扩展且结构化的多尺度时空预测，性能提升最高达16.8%。
2025-09-25 cs.LG physics.ao-ph
A Systematic Review for Transformer-based Long-term Series Forecasting
College of Applied Sciences, Shenzhen University（深圳大学应用技术学院）；College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院）
本文系统综述了基于Transformer的长期时间序列预测方法，梳理架构变体、数据集与评估指标，总结训练最佳实践，并展望未来研究方向。
2023-10-31 cs.AI cs.LG
FPTN: Fast Pure Transformer Network for Traffic Flow Forecasting
Southwest University（西南大学）
由于交通流数据具有复杂的时空相关性，交通流预测具有挑战性。现有的基于Transformer的交通流预测方法通常将交通流预测视为多变量时间序列预测。然而，太多的传感器可能会导致维度大于800的向量，这很难在不丢失信息的情况下进行处理。此外，这些方法设计了复杂的机制来捕获MTS中的空间依赖性，导致预测速度缓慢。针对上述问题，本文提出了一种快速纯Transformer网络（FPTN）。首先，交通流数据被划分为沿传感器维而不是时间维的序列。然后，为了充分表示复杂的时空相关性，提出了三种类型的嵌入将这些向量投影到合适的向量空间。然后，为了同时捕获这些向量中复杂的时空相关性，我们使用Transformer编码器并将其与几个层堆叠。使用4个真实数据集和13个基线进行了大量实验，结果表明FPTN在两个指标上优于最先进的方法。与此同时，FPTN的计算时间不到其他最先进的基于Transformer的模型的四分之一，对计算资源的要求也大大降低。
2023-03-14 cs.AI cs.LG
Persistence Initialization: A novel adaptation of the Transformer architecture for Time Series Forecasting
Norwegian University of Science and Technology（挪威科技大学）
时间序列预测是一个重要的问题，有许多现实世界的应用。深度神经网络的集成最近已经实现了令人印象深刻的预测准确性，但是这样大的集成在许多现实世界的设置中是不切实际的。Transformer模型已成功应用于各种具有挑战性的问题。我们提出了一个新的适应原来的Transformer架构，专注于时间序列预测的任务，称为持久性？该模型初始化为一个朴素的持久化模型，通过使用一个乘法门控机制结合剩余跳过连接。我们使用具有ReZero标准化和旋转位置编码的解码器Transformer，但是适应适用于任何自回归神经网络模型。我们评估我们提出的架构上具有挑战性的M4数据集，实现竞争力的性能相比，集成为基础的方法。我们还比较了现有的最近提出的Transformer模型的时间序列预测，表现出优越的性能M4数据集。广泛的消融研究表明，持久性神经网络导致更好的性能和更快的收敛。随着模型大小的增加，只有我们提出的自适应模型在性能上有所提高。我们还进行了额外的消融研究，以确定选择的归一化和位置编码的重要性，并发现使用旋转编码和ReZero归一化是必不可少的良好的预测性能。
2022-08-30 cs.AI cs.LG
DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting
Southwest Jiaotong University（西南交通大学）
时间序列预测在许多现实场景中扮演着重要的角色，例如设备生存周期预测、天气预报和交通流量预测。从最近的研究中可以观察到，各种基于变压器的模型在时间序列预测中表现出显著的效果。然而，仍然存在一些问题限制了基于transformer的模型在时间序列预测任务上的能力：（i）由于其复杂和不稳定的特征表示，直接在原始数据上学习容易受到噪声的影响;（ii）自我注意机制对变化的特征和时间依赖性关注不够。为了解决这两个问题，我们提出了一种基于变换的差分重构注意力模型DRAformer。具体而言，DRAformer具有以下创新：（i）针对差分序列进行学习，通过差分保留清晰稳定的序列特征，并突出序列的变化属性;（ii）重建注意力：综合距离注意力通过可学习的高斯核表示序列距离，分布差异注意力通过将差异序列映射到自适应特征空间计算分布差异，并且两者的组合有效地集中于具有显著关联的序列;（iii）重构的解码器输入，其通过整合变化信息和时间相关性来提取序列特征，从而获得更全面的序列表示。在四个大规模数据集上进行的广泛实验表明，DRAformer的性能优于最先进的基线。
2022-06-11 cs.AI cs.LG
TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting
Beihang University（北京航空航天大学）
时间序列预测对于广泛的实际应用至关重要。最近的研究表明，Transformer在处理这类问题，特别是长序列时间序列输入（LSTI）和长序列时间序列预测（LSTF）问题上的优越性。为了提高Transformer的效率和增强局部性，这些研究将Transformer与CNN进行了不同程度的结合。然而，它们的组合是松散耦合的，并且没有充分利用CNN。为了解决这个问题，我们提出了紧耦合卷积Transformer（TCCT）的概念，以及将变换后的CNN架构应用到Transformer中的三种TCCT架构：（1）CSPAttention：通过将CSPNet与自注意机制融合，自注意机制的计算成本降低了30%，内存使用量减少了50%，同时实现了等同或超越预测精度。(2)扩展因果卷积：该方法是通过用扩张的因果卷积层代替规范卷积层来修改Informer提出的提取操作，以获得指数感受野增长。(3)通过机制：将穿透机制应用于自注意块的堆叠，有助于类transformer模型以可忽略的额外计算成本获得更细粒度的信息。我们在真实数据集上的实验表明，我们的TCCT架构可以大大提高现有的最先进的Transformer模型的时间序列预测的性能，具有更低的计算和内存成本，包括典型的Transformer，LogTrans和Informer。
2022-02-12 cs.AI cs.LG
Analyzing Deep Transformer Models for Time Series Forecasting via Manifold Learning
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文从流形学习角度分析深度时间序列预测Transformer模型潜在表示的几何特征，发现其跨层几何行为相似且与性能相关，并据此为设计更优预测网络提供新思路。
2024-10-17 cs.LG
iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）
iTransformer通过倒置Transformer的注意力与前馈网络，将时间点嵌入为变量令牌以捕捉多元相关性，在真实数据集上达到最先进性能，提升了泛化能力与回溯窗口利用率。
2024-03-14 cs.LG
SETTer: Sparse-Encoder Transformer for Long-term Multivariate Time Series Forecasting
RWTH Aachen University（亚琛工业大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）
SETTer通过解耦自注意力和混合掩码技术，在单层Transformer架构下有效捕获长期多元时间序列的时空模式，并在88%的基准场景中超越现有最优模型。
2026-09-18 cs.LG
Multi-scale Transformer Pyramid Networks for Multivariate Time Series Forecasting
University of Nevada, Reno（内华达大学雷诺分校）；East Carolina University（东卡罗来纳大学）
本文提出多尺度Transformer金字塔网络（MTPNet），通过维度不变嵌入和多个无约束尺度捕获时间依赖，在九个基准数据集上超越现有最先进方法。
2023-08-23 cs.LG
Unify and Anchor: A Context-Aware Transformer for Cross-Domain Time Series Forecasting
Nanjing University（南京大学）；HKUST(GZ)（香港科技大学（广州））
针对跨域时间序列预测中的时间模式复杂性与语义错位问题，提出“Unify and Anchor”迁移范式及基于Transformer的ContexTST模型，通过解耦频率成分和引入外部上下文锚点实现跨域泛化，显著提升了预测性能与零样本迁移能力。
2025-03-03 cs.LG
MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对长程时间序列预测中高阶交互建模能力不足的问题，提出多尺度超图Transformer框架MSHyper，通过引入多尺度超图、超边图和三阶段消息传递机制来建模高阶模式交互，在五个真实数据集上取得SOTA性能。
2024-12-23 cs.LG
LATST: Are Transformers Necessarily Complex for Time-Series Forecasting
Dizhen Liang（独立研究者）
针对 Transformer 在多变量长期预测中逊于线性基线的问题，本文提出 LATST 方法缓解熵坍缩与训练不稳定，在多个真实数据集上超越现有最优 Transformer 模型，并以更少参数达到竞争性能。
2025-07-08 cs.AI cs.LG
Transformers predicting the future. Applying attention in next-frame and time series forecasting
Comrade Cooperative（同志合作社）
直到最近，递归神经网络仍然是捕获序列中的时间依赖关系的最佳方法之一。然而，随着Transformer的引入，已经证明，只有注意力机制而没有任何RNN的架构可以改善各种序列处理任务（例如NLP）的结果。此后的多项研究表明，类似的方法可以应用于图像、点云、视频、音频或时间序列预测。此外，还引入了诸如感知器或告密者之类的解决方案，以扩展Transformer的适用性。我们的主要目标是测试和评估在时间序列数据上应用Transformer类模型的有效性，通过微调超参数，预处理数据，应用降维或卷积编码，我们也在考虑下一个问题--帧预测和探索修改现有解决方案的方法，以实现更高的性能和学习广义知识。
2021-08-18 cs.LG
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group（阿里巴巴集团）
本文提出Stecformer模型，通过半自适应图的时空编码提取器和级联解码预测器CDP，解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题，在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
Benchmarking Transformer and xLSTM for Time-Series Forecasting of Heat Consumption
RAUSCH Technology GmbH（RAUSCH技术公司）；Modeling and Simulation, University of Würzburg（建模与仿真，乌尔姆大学）
本文对比了变压器和xLSTM在建筑层面热耗预测中的性能，发现xLSTM在RMSE上表现最佳，但高参数模型的可持续性存疑，传统网络也能取得良好结果。
2026-05-10 cs.LG
Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting
Shanghai Jiaotong University（上海交通大学）；Eastern Institute for Advanced Study（东方理工高等研究院）；Hefei University of Technology（合肥工业大学）
针对多元长期时间序列预测中注意力模块捕获跨时间依赖性的质疑，提出Client模型，通过线性模块学习趋势、注意力模块捕获跨变量依赖，在九个数据集上以最少计算时间和内存消耗实现SOTA性能。
2023-05-30 cs.LG
DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting
The University of Hong Kong（香港大学）；Vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司）
针对多变量时间序列预测中通道依赖策略易引入无关变量致性能下降的问题，提出结合通道依赖与独立策略优势的DGCformer，经图卷积自编码器分组变量并搭配前后掩码自注意力，在8个数据集上表现优于现有最优模型。
2024-05-14 cs.LG
TripCast: Pre-training of Masked 2D Transformers for Trip Time Series Forecasting
Trip.com Group（携程集团）
针对旅游业具有前置时间特性的二维出行时间序列，提出 TripCast 建模范式，通过掩码与重建进行二维 Transformer 预训练，在域内和域外预测中取得优异性能。
2024-10-24 cs.AI cs.LG
FaCTR: Factorized Channel-Temporal Representation Transformers for Efficient Time Series Forecasting
C3 AI
FaCTR是一种轻量级时空Transformer，通过低秩因子分解机和门控机制建模跨通道交互，以约400K参数在11个基准上取得最先进性能，并支持可解释性和自监督预训练。
2025-06-05 cs.LG
Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting
University of California Santa Barbara（加州大学圣巴巴拉分校）
时间序列预测是许多领域的重要问题，包括预测太阳能发电厂的能量输出，电力消耗和交通拥堵情况。在本文中，我们建议用Transformer [1]来处理这样的预测问题。虽然在我们的初步研究中对它的性能印象深刻，但我们发现它的两个主要弱点：（1）局部不可知性：规范Transformer架构中的逐点点积自注意对局部上下文不敏感，这可能使模型在时间序列中容易出现异常;（2）内存瓶颈：规范Transformer的空间复杂度与序列长度$L$成二次增长，使得直接建模长时间序列不可行。为了解决这两个问题，我们首先提出了卷积自注意，通过产生查询和关键字与因果卷积，使局部上下文可以更好地纳入注意力机制。然后，我们提出了LogSparse Transformer，只有$O(L(\log L)^{2})$内存成本，提高预测精度的细粒度和强长期依赖性的时间序列在有限的内存预算。我们在合成数据和真实世界数据集上的实验表明，它比最先进的。
2020-01-03 cs.LG stat.ML
EVOTS: Evolutionary Transformer Search for Time Series Forecasting
University of North Carolina Wilmington（北卡罗来纳大学威尔明顿分校）
提出进化神经架构搜索框架EVOTS，通过模块化基因组表示和修复机制自动发现任务自适应的Transformer类架构，在ETT数据集多变量预测中达到竞争性性能。
2026-07-02 cs.AI cs.LG cs.NE
Dateformer: Time-modeling Transformer for Longer-term Series Forecasting
Sichuan University（四川大学）
Transformers在长期序列预测方面表现出了令人印象深刻的实力。现有的预测研究主要集中在将过去的短期子序列（回顾窗口）映射到未来的序列（预测窗口）。一旦训练完成，较长的训练数据集时间序列将被丢弃。模型只能依赖回看窗口信息进行推理，这阻碍了模型从全局角度分析时间序列。而且Transformers使用的这些窗口非常窄，因为它们必须对其中的每个时间步长进行建模。在这种逐点处理风格下，扩大窗口将迅速耗尽其模型容量。对于细粒度时间序列，这导致信息输入和预测输出的瓶颈，这对长期序列预测是致命的。为了克服这个障碍，我们提出了一个全新的方法，利用Transformer的时间序列预测。具体来说，我们分裂成补丁的时间序列的一天和改革逐点逐块处理，这大大提高了Transformers的信息输入和输出。为了进一步帮助模型在推理过程中利用整个训练集的全局信息，我们提取信息，将其存储在时间表示中，并将序列替换为时间表示作为主要建模实体。我们设计的时间建模Transformer -Datemformer在7个真实世界数据集上产生了最先进的精度，相对提高了33.6%，并将最大预测范围扩展到半年。
2023-02-21 cs.AI cs.LG
Transformer Based Time-Series Forecasting for Stock
UT Austin（德克萨斯大学奥斯汀分校）
本文针对股票价格预测难题，提出将其建模为多变量时间序列预测，并利用自研 Transformer 变体 Stockformer 的注意力机制完成分析。
2026-10-06 cs.LG q-fin.CP
DiTS: Multimodal Diffusion Transformers Are Time Series Forecasters
School of Software, BNRist, Tsinghua University（软件学院、BNRist、清华大学）
DiTS通过双流Transformer块处理时间序列的内生和外生变量依赖，实现高效生成预测。
2026-10-08 cs.LG
Financial Time Series Forecasting using CNN and Transformer
J. P. Morgan AI Research（摩根大通人工智能研究院）
本文提出结合CNN与Transformer建模金融时间序列的短期和长期依赖，预测S&P 500成分股日内价格涨跌或持平，实验证明优于常用统计与深度学习方法。
2023-04-11 cs.AI cs.LG econ.EM
Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting
University of Verona（维罗纳大学）；UniCredit（裕信银行）
针对现有顶尖Transformer时间序列预测架构难同时建模时序与通道间依赖的问题，提出融合通道编码器、时序解码器及多补丁注意力的Sentinel架构，在标准基准上取得更优或相当的性能。
2025-03-22 cs.LG stat.ML
Delta-Based Target Reformulation for Short-Term Electricity Load Forecasting Using LSTM and Transformer Models
针对电力负荷非平稳性，提出Delta目标重构方法，让LSTM和Transformer预测负荷变化量而非绝对值，在小时级预测中MAE和MAPE降低超50%。
2026-06-17 cs.LG
PETformer: Long-term Time Series Forecasting via Placeholder-enhanced Transformer
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
针对Transformer在长期时间序列预测任务中潜力未充分发挥、性能被简单模型超越的问题，提出占位符增强技术及长子序列划分、多通道分离交互策略，构建PETformer模型，在8个常用公开数据集上取得SOTA性能。
2023-10-07 cs.LG
Transformer-based Atmospheric Density Forecasting
Massachusetts Institute of Technology（麻省理工学院）；Universidad Politécnica de Madrid（马德里理工大学）
本文针对空间态势感知中大气密度预报问题，提出基于Transformer的非线性预报架构，并与DMDc方法在NRLMSISE-00、JB2008和TIEGCM模型上进行比较，以改进传统线性传播方法的预报能力。
2023-10-25 cs.LG physics.ao-ph physics.space-ph
HAELT: A Hybrid Attentive Ensemble Learning Transformer Framework for High-Frequency Stock Price Forecasting
针对高频股价预测的非平稳、噪声与波动难题，提出融合ResNet降噪、时间自注意力与LSTM-Transformer混合核心的自适应集成框架HAELT，在AAPL小时级数据上取得最高F1分数，可有效识别涨跌走势。
2025-06-09 cs.AI cs.LG
Flight Demand Forecasting with Transformers
The MITRE Corporation（MITRE公司）；Federal Aviation Administration（美国联邦航空管理局）
Transformers已经成为自然语言处理（NLP）领域事实上的标准。它们在计算机视觉和其他领域也获得了发展势头。Transformers可以使人工智能（AI）模型动态地关注其输入的某些部分，从而更有效地进行推理。受Transformers成功的启发，我们采用这种技术来预测多个视野中的战略航班起飞需求。这项工作是为了支持MITRE开发的移动应用程序Pacer，该应用程序向通用航空（GA）飞行运营商显示预测的起飞需求，以便他们能够更好地了解繁忙时期起飞延误的可能性。Pacer先前设计的基于规则的预测方法的现场演示表明，发车需求的预测精度仍有改进的空间。本研究致力于从两个关键方面提高预测精度：更好的数据源和鲁棒的预测算法。我们利用两个数据源，航空系统性能评估（ASPM）和全系统信息管理（SWIM），作为我们的输入。然后，我们训练预测模型与时间融合Transformer（TFT）为五个不同的机场。案例研究表明，TFT可以比传统的预测方法表现得更好，并且可以在不同的机场进行更好的预测，并具有更好的可解释性。
2021-11-04 cs.AI cs.LG
Metadata Matters for Time Series: Informative Forecasting with Transformers
Tsinghua University（清华大学）
本研究提出元数据感知时间序列Transformer（MetaTST），将元数据编码为令牌融入预测模型，在多类预测基准上实现了性能突破。
2024-10-04 cs.CL cs.LG
T-Graphormer: Using Transformers for Spatiotemporal Forecasting
Mila, University of Montreal（蒙特利尔大学米拉研究所）
T-Graphormer是一种基于Transformer的时空预测方法，通过时间编码同时建模时空相关性，在交通预测基准上显著降低RMSE和MAPE。
2025-03-26 cs.LG
