DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting
Southwest Jiaotong University（西南交通大学）
时间序列预测在许多现实场景中扮演着重要的角色，例如设备生存周期预测、天气预报和交通流量预测。从最近的研究中可以观察到，各种基于变压器的模型在时间序列预测中表现出显著的效果。然而，仍然存在一些问题限制了基于transformer的模型在时间序列预测任务上的能力：（i）由于其复杂和不稳定的特征表示，直接在原始数据上学习容易受到噪声的影响;（ii）自我注意机制对变化的特征和时间依赖性关注不够。为了解决这两个问题，我们提出了一种基于变换的差分重构注意力模型DRAformer。具体而言，DRAformer具有以下创新：（i）针对差分序列进行学习，通过差分保留清晰稳定的序列特征，并突出序列的变化属性;（ii）重建注意力：综合距离注意力通过可学习的高斯核表示序列距离，分布差异注意力通过将差异序列映射到自适应特征空间计算分布差异，并且两者的组合有效地集中于具有显著关联的序列;（iii）重构的解码器输入，其通过整合变化信息和时间相关性来提取序列特征，从而获得更全面的序列表示。在四个大规模数据集上进行的广泛实验表明，DRAformer的性能优于最先进的基线。
2022-06-11 cs.AI cs.LG
TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting
Beihang University（北京航空航天大学）
时间序列预测对于广泛的实际应用至关重要。最近的研究表明，Transformer在处理这类问题，特别是长序列时间序列输入（LSTI）和长序列时间序列预测（LSTF）问题上的优越性。为了提高Transformer的效率和增强局部性，这些研究将Transformer与CNN进行了不同程度的结合。然而，它们的组合是松散耦合的，并且没有充分利用CNN。为了解决这个问题，我们提出了紧耦合卷积Transformer（TCCT）的概念，以及将变换后的CNN架构应用到Transformer中的三种TCCT架构：（1）CSPAttention：通过将CSPNet与自注意机制融合，自注意机制的计算成本降低了30%，内存使用量减少了50%，同时实现了等同或超越预测精度。(2)扩展因果卷积：该方法是通过用扩张的因果卷积层代替规范卷积层来修改Informer提出的提取操作，以获得指数感受野增长。(3)通过机制：将穿透机制应用于自注意块的堆叠，有助于类transformer模型以可忽略的额外计算成本获得更细粒度的信息。我们在真实数据集上的实验表明，我们的TCCT架构可以大大提高现有的最先进的Transformer模型的时间序列预测的性能，具有更低的计算和内存成本，包括典型的Transformer，LogTrans和Informer。
2022-02-12 cs.AI cs.LG
LATST: Are Transformers Necessarily Complex for Time-Series Forecasting
Dizhen Liang（独立研究者）
针对 Transformer 在多变量长期预测中逊于线性基线的问题，本文提出 LATST 方法缓解熵坍缩与训练不稳定，在多个真实数据集上超越现有最优 Transformer 模型，并以更少参数达到竞争性能。
2025-07-08 cs.AI cs.LG
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group（阿里巴巴集团）
本文提出Stecformer模型，通过半自适应图的时空编码提取器和级联解码预测器CDP，解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题，在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
TripCast: Pre-training of Masked 2D Transformers for Trip Time Series Forecasting
Trip.com Group（携程集团）
针对旅游业具有前置时间特性的二维出行时间序列，提出 TripCast 建模范式，通过掩码与重建进行二维 Transformer 预训练，在域内和域外预测中取得优异性能。
2024-10-24 cs.AI cs.LG
Dateformer: Time-modeling Transformer for Longer-term Series Forecasting
Sichuan University（四川大学）
Transformers在长期序列预测方面表现出了令人印象深刻的实力。现有的预测研究主要集中在将过去的短期子序列（回顾窗口）映射到未来的序列（预测窗口）。一旦训练完成，较长的训练数据集时间序列将被丢弃。模型只能依赖回看窗口信息进行推理，这阻碍了模型从全局角度分析时间序列。而且Transformers使用的这些窗口非常窄，因为它们必须对其中的每个时间步长进行建模。在这种逐点处理风格下，扩大窗口将迅速耗尽其模型容量。对于细粒度时间序列，这导致信息输入和预测输出的瓶颈，这对长期序列预测是致命的。为了克服这个障碍，我们提出了一个全新的方法，利用Transformer的时间序列预测。具体来说，我们分裂成补丁的时间序列的一天和改革逐点逐块处理，这大大提高了Transformers的信息输入和输出。为了进一步帮助模型在推理过程中利用整个训练集的全局信息，我们提取信息，将其存储在时间表示中，并将序列替换为时间表示作为主要建模实体。我们设计的时间建模Transformer -Datemformer在7个真实世界数据集上产生了最先进的精度，相对提高了33.6%，并将最大预测范围扩展到半年。
2023-02-21 cs.AI cs.LG
HAELT: A Hybrid Attentive Ensemble Learning Transformer Framework for High-Frequency Stock Price Forecasting
针对高频股价预测的非平稳、噪声与波动难题，提出融合ResNet降噪、时间自注意力与LSTM-Transformer混合核心的自适应集成框架HAELT，在AAPL小时级数据上取得最高F1分数，可有效识别涨跌走势。
2025-06-09 cs.AI cs.LG
Flight Demand Forecasting with Transformers
The MITRE Corporation（MITRE公司）；Federal Aviation Administration（美国联邦航空管理局）
Transformers已经成为自然语言处理（NLP）领域事实上的标准。它们在计算机视觉和其他领域也获得了发展势头。Transformers可以使人工智能（AI）模型动态地关注其输入的某些部分，从而更有效地进行推理。受Transformers成功的启发，我们采用这种技术来预测多个视野中的战略航班起飞需求。这项工作是为了支持MITRE开发的移动应用程序Pacer，该应用程序向通用航空（GA）飞行运营商显示预测的起飞需求，以便他们能够更好地了解繁忙时期起飞延误的可能性。Pacer先前设计的基于规则的预测方法的现场演示表明，发车需求的预测精度仍有改进的空间。本研究致力于从两个关键方面提高预测精度：更好的数据源和鲁棒的预测算法。我们利用两个数据源，航空系统性能评估（ASPM）和全系统信息管理（SWIM），作为我们的输入。然后，我们训练预测模型与时间融合Transformer（TFT）为五个不同的机场。案例研究表明，TFT可以比传统的预测方法表现得更好，并且可以在不同的机场进行更好的预测，并具有更好的可解释性。
2021-11-04 cs.AI cs.LG
Fewer yet critical: Reducing Redundant Token Dependencies for Transformer-based Time Series Forecasting
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对Transformer时间序列预测中冗余token依赖问题，提出联合注意力熵与预测误差约束的依赖选择策略，识别关键依赖，提升泛化，可扩展至多种模型。
2026-09-09 cs.AI cs.LG
PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
针对时间序列预测中高维数据和长期依赖的挑战，提出PSformer模型，通过参数共享减少训练参数并引入时空分段注意力捕捉局部依赖，在基准数据集上准确性和可扩展性优于现有方法。
2025-02-11 cs.AI cs.LG
HDT: Hierarchical Discrete Transformer for Multivariate Time Series Forecasting
College of Computing and Data Science, Nanyang Technological University (NTU)（南洋理工大学计算与数据科学学院）；Webank-NTU Joint Research Institute on Fintech, NTU（微众银行-南洋理工大学金融科技联合研究院）；Tencent AI Lab（腾讯人工智能实验室）
针对高维多变量时间序列预测中生成模型扩展难、预测长度受限的问题，提出HDT分层离散Transformer框架，通过离散token表示和分层建模延长预测长度并提升性能，实验验证其有效性。
2025-02-12 cs.AI cs.LG
FISformer: Replacing Self-Attention with a Fuzzy Inference System in Transformer Models for Time Series Forecasting
Computer Engineering Department, Gaziantep University（加扎莱普大学计算机工程系）
FISFormer通过模糊推理机制替代传统注意力机制，提升时间序列预测中对不确定性和非线性依赖的建模能力，实验显示其在准确性、鲁棒性和可解释性上优于现有Transformer变体。
2026-03-23 cs.AI cs.LG
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测，在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型，提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting
Alibaba Group（阿里巴巴集团）；Meta Platforms, Inc.（元平台公司）
本文提出Sparse-VQ Transformer，用稀疏向量量化替代FFN层并结合RevIN，减少噪声影响和参数，在十个基准上MAE降低7.84%和4.17%，可集成于现有模型提升预测性能。
2024-02-08 cs.AI cs.LG
SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting
Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（新疆物理化学技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Laboratory of Minority Speech and Language Information Processing（新疆少数民族语言信息处理实验室）
SCFormer通过在Transformer的线性变换中引入时间约束并利用HiPPO处理累积历史状态，解决了通道级自注意力缺乏时间约束和未充分利用历史序列的问题，在多元时间序列预测上显著优于主流基线。
2025-05-05 cs.AI cs.LG
Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering
Department of Mathematics（数学系）；University of California, Irvine（加州大学 Irvine 分校）；Irvine, CA 92617
本文提出在Transformer模型前加入可学习频谱滤波器，提升长时间序列预测性能，减少计算资源消耗并提高模型效率。
2025-08-27 cs.AI cs.LG
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架，在保持表达能力的同时降低复杂度，实验显示平均性能提升12.4%，参数量减少61.3%。
2024-12-16 cs.AI cs.LG
A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models
University of Luxembourg（卢森堡大学）；Monash University（莫纳什大学）
本文提出统一的超参数优化流水线，用于基于Transformer的时间序列预测模型，并在多个SOTA模型和基准数据集上验证其通用性与实用性。
2025-01-02 cs.AI cs.LG
Considering Nonstationary within Multivariate Time Series with Variational Hierarchical Transformer for Forecasting
National Laboratory of Radar Signal Processing（雷达信号处理国家重点实验室）；Xidian University（西安电子科技大学）
针对现有多变量时间序列预测方法忽略固有非平稳性、缺乏随机性的问题，提出融合层次概率生成模块与Transformer的HTV-Trans模型，有效提升预测性能。
2024-03-08 cs.AI cs.LG
Are Self-Attentions Effective for Time Series Forecasting?
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
本文质疑自注意力在时间序列预测中的有效性，提出仅用交叉注意力的CATS架构，通过消除自注意力并引入未来视界依赖查询与参数共享，在减少参数和内存的同时提升了长期预测精度。
2024-12-23 cs.AI cs.LG
Advancing Long-Term Multi-Energy Load Forecasting with Patchformer: A Patch and Transformer-Based Approach
School of Mathematics, Statistics and Actuarial Science（数学、统计与精算科学学院）；University of Essex（埃塞克斯大学）；Alliance Manchester Business School（曼彻斯特联盟商学院）；University of Manchester（曼彻斯特大学）
针对长期多能源负荷预测需求，提出融合补丁嵌入与Transformer架构的Patchformer模型，通过分块处理时间序列提升语义依赖捕捉能力，在多数据集上取得更优预测精度，且能有效利用序列长度与能源 interdependence 提升性能。
2024-04-16 cs.AI cs.LG
PFformer: A Position-Free Transformer Variant for Extreme-Adaptive Multivariate Time Series Forecasting
Santa Clara University（圣克拉拉大学）
PFformer是一种无位置Transformer变体，通过EFE和AEE嵌入策略捕捉变量间依赖，在极端自适应多元时间序列预测中较先进模型提升20%-60%。
2025-02-27 cs.AI cs.LG
Patch-Level Tokenization with CNN Encoders and Attention for Improved Transformer Time-Series Forecasting
School of Computer Science（计算机科学学院）；Engineering, VIT-AP University（工程系，VIT-AP大学）；Amaravati, Andhra Pradesh, 522241, India（安得拉邦阿马拉瓦蒂，522241，印度）
本文提出基于CNN和注意力机制的片段级分词方法，通过分离局部时间表示学习与全局依赖建模，提升变换器在时间序列预测中的性能。
2026-10-20 cs.AI cs.LG
Integration of Mamba and Transformer -- MAT for Long-Short Range Time Series Forecasting with Application to Weather Dynamics
University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；Digital Financial Information Technology Co.LTD（数字金融信息技术有限公司）；Northern Arizona University（北亚利桑那大学）
针对Transformer在时间序列预测中难捕捉长依赖、处理稀疏特征的问题，本文融合Mamba与Transformer提出MAT模型，结合二者长短程捕捉优势，在天气数据集上预测精度、扩展性和内存效率均优于现有方法。
2024-09-13 cs.AI cs.LG
xLSTMTime : Long-term Time Series Forecasting With xLSTM
University of Bridgeport（布里奇波特大学）
针对Transformer类长期时间序列预测模型的局限及线性模型带来的挑战，本文将带指数门控与改进记忆结构的xLSTM适配为xLSTMTime，在多数据集上优于前沿模型，为该任务提供了有竞争力的循环架构方案。
2024-08-12 cs.AI cs.LG
TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables
BNRist
针对现实场景中仅靠内生变量不足以准确预测的问题，提出 TimeXer 模型，通过巧妙设计的嵌入层融合外生变量，利用 patch 级自注意力与变量级交叉注意力增强 Transformer，在 12 个基准上达到 SOTA。
2024-11-11 cs.AI cs.LG
Ister: Linear Transformer for Efficient Multivariate Time Series Forecasting
Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））；ShenZhen University（深圳大学）；Shenzhen Energy Group Co., Ltd.（深圳能源集团有限公司）；South China University of Technology（华南理工大学）
Ister提出了一种线性复杂度的注意力机制和倒置季节趋势分解策略，提升多变量时间序列预测的准确性和效率，实验证明其在多个基准上达到最优性能。
2026-05-09 cs.AI cs.LG
Expert System for Bitcoin Forecasting: Integrating Global Liquidity via TimeXer Transformers
RV College of Engineering (RVCE)（RV工程学院）
本文提出通过整合全球流动性提升比特币长期价格预测的专家系统，采用TimeXer架构实现条件化预测模型，实验表明其在长期内预测表现优于传统模型。
2026-01-11 cs.AI cs.LG
EVOTS: Evolutionary Transformer Search for Time Series Forecasting
University of North Carolina Wilmington（北卡罗来纳大学威尔明顿分校）
提出进化神经架构搜索框架EVOTS，通过模块化基因组表示和修复机制自动发现任务自适应的Transformer类架构，在ETT数据集多变量预测中达到竞争性性能。
2026-07-02 cs.AI cs.LG cs.NE
Knowledge-enhanced Transformer for Multivariate Long Sequence Time-series Forecasting
Indian Institute of Management Mumbai（印度管理学院孟买分校）
本文提出将知识图谱嵌入（KGE）与 PatchTST、Autoformer 等 Transformer 架构无缝集成，以捕捉多变量间的概念关系，在 Weather 和 ETT 数据集上显著提升了多变量长序列时间序列预测的准确率。
2024-11-17 cs.AI cs.LG
ETSformer: Exponential Smoothing Transformers for Time-series Forecasting
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）
近年来，Transformers在时间序列预测中得到了积极的研究。虽然在各种情况下经常显示出有希望的结果，但是传统的Transformers并没有被设计为充分利用时间序列数据的特性，因此受到一些基本限制，例如，它们通常缺乏分解能力和可解释性，对于长期预测来说既不有效也没有效率。在本文中，我们提出了ETSFormer，一个新的时间序列Transformer架构，它利用指数平滑的原则，改善Transformers的时间序列预测。特别是，受时间序列预测中经典指数平滑方法的启发，本文提出了新的指数平滑注意（ESA）和频率注意（FA）机制来取代传统Transformers中的自注意机制，从而提高了预测精度和效率。在此基础上，我们重新设计了Transformer的架构与模块化分解块，使它可以学习分解的时间序列数据到可解释的时间序列组件，如水平，增长和季节性。在各种时间序列基准上的大量实验验证了该方法的有效性和优势。代码可在https://github.com/salesforce/ETSformer上获得。
2022-06-20 cs.LG
A Comparative Study of Pruning Methods in Transformer-based Time Series Forecasting
Scientific Computing Center, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院科学计算中心）；Helmholtz AI（亥姆霍兹人工智能）
本研究对基于Transformer的时间序列预测模型进行非结构化与结构化剪枝的比较基准测试，发现某些模型在高稀疏度下性能更优，但需微调，且结构化剪枝难以显著节省时间。
2024-12-17 cs.AI cs.LG
Traffic-Twitter Transformer: A Nature Language Processing-joined Framework For Network-wide Traffic Forecasting
University of Washington（华盛顿大学）；Beihang University（北京航空航天大学）；STAR Lab（STAR实验室）
通过准确及时的交通预测，可以提前预测受影响的交通状况，以指导机构和居民适当地应对交通模式的变化。然而，现时的交通预测工作主要依赖过往的交通模式，只限于短期预测，例如少于1小时。为了更好地管理未来的道路通行能力并适应社会和人类的影响，提出一个灵活而全面的框架来预测公共用户和交通机构的物理感知长期交通状况是至关重要的。在本文中，鲁棒的长期交通预测的差距，弥补了社会媒体的特点考虑。首先进行相关性研究和线性回归模型，以评估两个时间序列数据，流量强度和Twitter数据强度之间的相关性的意义。然后，将两个时间序列数据输入我们提出的社会感知框架中，该框架将自然语言表示集成到时间序列记录中，用于长期流量预测。在大西雅图地区的实验结果表明，我们提出的模型优于基线模型在所有的评估矩阵。这个加入NLP的社会感知框架可以成为交通机构的网络范围内的流量预测和管理的一个有价值的实现。
2022-10-30 cs.AI cs.LG
TiVaT: A Transformer with a Single Unified Mechanism for Capturing Asynchronous Dependencies in Multivariate Time Series Forecasting
Yonsei University（延世大学）；Graduate School of Information, Yonsei University（延世大学信息研究生院）
提出TiVaT架构，通过联合轴注意力模块和距离感知时间变量采样机制同时处理时间与变量建模，有效捕捉多变量时间序列中的异步依赖关系，在复杂数据集上表现卓越。
2025-01-31 cs.AI cs.LG
HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting
Northwestern Polytechnical University（北华理工大学）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学AI研究院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所，东部技术研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
HTMformer通过混合时间与多变量嵌入提升时间序列预测的准确性和效率
2025-12-15 cs.AI cs.LG
InjectTST: A Transformer Method of Injecting Global Information into Independent Channels for Long Time Series Forecasting
China Mobile Research Institute（中国移动研究院）
针对多变量时间序列预测中通道独立与通道混合结构难以兼顾的问题，提出InjectTST方法，通过通道标识符、全局混合模块与自上下文注意力模块，在保留通道独立骨干的同时选择性注入全局信息，实现隐式通道混合，较现有最优模型取得稳定性能提升。
2024-03-05 cs.AI cs.LG
Fredformer: Frequency Debiased Transformer for Time Series Forecasting
SANKEN, Osaka University（大阪大学SANKEN（日本大阪大学的一个研究机构，全称The Institute of Scientific and Industrial Research，中文常译为大阪大学产业科学研究所））
本文针对Transformer在时间序列预测中的频率偏差问题，提出Fredformer框架，通过跨频带均衡学习特征以缓解偏差，并引入轻量级注意力近似变体，在多个真实数据集上取得优于基线方法的性能。
2024-07-03 cs.AI cs.LG
A Joint Time-frequency Domain Transformer for Multivariate Time Series Forecasting
Tsinghua University（清华大学）；Fujian University of Technology（福建理工大学）；Techorigin；Earth System Modeling and Prediction Center（地球系统模拟与预测中心）
本文提出联合时频域Transformer（JTFT），结合频域稀疏多尺度表示与固定长度时域表示，并引入低秩注意力层，在保持线性计算复杂度的同时提升多元长期时间序列预测性能。
2023-10-28 cs.AI cs.LG
Curse of Attention: A Kernel-Based Perspective for Why Transformers Fail to Generalize on Time Series Forecasting and Beyond
The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；UC Berkeley（加州大学伯克利分校）；Sun Yat-sen University（中山大学）
本文从核方法视角解释了Transformer在时间序列预测任务中泛化失败的原因，指出注意力机制在符号不一致时存在非对称学习问题，导致无法学习残差特征，为设计高效Transformer架构提供了理论依据。
2025-02-28 cs.AI cs.LG
CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting
Alibaba（阿里巴巴）
本文提出CARD模型，通过引入通道对齐注意力结构、token混合模块和鲁棒损失函数，克服了通道独立策略的缺陷，在时间序列预测任务上显著优于现有方法。
2024-02-16 cs.LG
A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting
Southwest Jiaotong University（西南交通大学）
时间序列预测广泛应用于设备生存周期预测、天气预报、交通流量预测等领域。近年来，由于Transformer强大的并行训练能力，一些学者尝试将其应用于时间序列预测。然而，现有的Transformer方法对预测中起决定性作用的小时间段关注不够，使得其对影响时间序列趋势的微小变化不敏感，难以有效学习连续的时间相关特征。针对这一问题，提出了一种基于Transformer的差分注意力融合模型，该模型在经典的Transformer体系结构的基础上，设计了差分层、邻居注意力、滑动融合机制和剩余层。具体地说，相邻时间点的差异提取和关注的差异和邻居的注意。滑动融合机制融合了每个时间点的各种特征，使数据可以参与编码和解码，而不会丢失重要信息。包括卷积和LSTM的残差层进一步学习时间点之间的依赖关系，并使我们的模型能够进行更深入的训练。在三个数据集上的大量实验表明，该方法产生的预测结果与最先进的预测结果相当。
2022-02-23 cs.LG
STC-ViT: Spatio Temporal Continuous Vision Transformer for Medium-range Global Weather Forecasting
University of New South Wales（新南威尔士大学）
STC-ViT通过结合傅里叶神经算子和神经ODE，提出了一种用于中程全球天气预报的时空连续视觉变换器，实现了高效且准确的预报性能。
2025-11-28 cs.LG
Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI
最近，由于引入了Transformers，时间序列预测的性能有了很大的提高。在本文中，我们提出了一个通用的多尺度框架，可以应用于最先进的基于变压器的时间序列预测模型（FEDformer，Autoformer等）。通过在多个尺度上使用共享权重迭代地改进预测时间序列，引入架构自适应和专门设计的归一化方案，我们能够在数据集和Transformer架构上实现显着的性能改进，从5.5%提高到38.5%，并且额外的计算开销最小。通过详细的消融研究，我们证明了我们在架构和方法上的每一个贡献的有效性。此外，我们在各种公共数据集上的实验表明，所提出的改进优于其相应的基线同行。我们的代码可在https://github.com/BorealisAI/scaleformer上公开获取。
2023-02-07 cs.LG
Premonition Net, A Multi-Timeline Transformer Network Architecture Towards Strawberry Tabletop Yield Forecasting
University of Lincoln（林肯大学）；University of Aberdeen（阿伯丁大学）
产量预测是产量优化的关键第一步，对更广泛的食品供应链、采购、价格谈判、物流和供应都有重要影响。然而，产量预测是出了名的困难，而且往往不准确。预感网是一个多时间线，时间顺序的处理过去，现在和未来的预感的方法。我们展示了这种结构与Transformers相结合如何实现关键的产量预测能力，以提高粮食安全，降低价格，减少浪费。我们发现数据的可用性是一个持续的困难，但是使用我们的预感网络和我们自己收集的数据，我们提前3周获得了产量预测，在我们最新的季节中，测试集RMSE损失约为0.08。
2022-11-15 cs.LG
Extreme Adaptive Transformer for Time Series Forecasting
Department of Computer Science, Missouri State University（密苏里州立大学计算机科学系）
针对时间序列中罕见极端事件预测难题，提出Exformer框架，通过包含局部、步长和极端三个稀疏分量的极端自适应注意力机制，显式建模正常与极端事件的时间依赖，在四个水文数据集上实现更优的3天预测性能。
2026-07-03 cs.LG
EMAformer: Enhancing Transformer through Embedding Armor for Time Series Forecasting
针对iTransformer在多变量时间序列预测中落后于MLP模型的问题，提出EMAformer通过嵌入装甲引入三个归纳偏置增强Transformer，在12个基准上实现SOTA，平均降低2.73% MSE和5.15% MAE，提升Transformer方法实用性。
2025-11-11 cs.LG
A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting
Shanghai Jiao Tong University（上海交通大学）
多变量时间序列预测（MTSF）是许多实际应用中的一个基本问题。近年来，Transformer已成为MTSF的事实上的解决方案，特别是对于长期的情况。然而，除了一个正向操作之外，现有MTSF Transformer架构中的基本配置几乎没有经过仔细验证。在这项研究中，我们指出，目前的令牌化策略在MTSF Transformer架构忽略了令牌的均匀性感应偏置的Transformers。因此，普通MTSF Transformer难以捕获时间序列中的细节，表现出较差的性能。基于这一观察，我们对普通MTSF Transformer的基本架构进行了一系列的改进。我们改变了有缺陷的标记化策略，以及解码器结构和嵌入。令人惊讶的是，进化的简单Transformer架构是高度有效的，其成功地避免了普通MTSF Transformer中的过平滑现象，实现了更详细和准确的预测，并且甚至显著优于为MTSF精心设计的最先进的Transformers。
2022-12-06 cs.LG
Multi-resolution Time-Series Transformer for Long-term Forecasting
McGill University（麦吉尔大学）；Mila（米拉研究所）；ILLS
针对时间序列预测中片段大小影响不同频率模式学习的问题，提出多分支架构MTST，同时建模多分辨率时序模式并采用相对位置编码提取多尺度周期成分，在真实数据集上优于现有技术。
2024-03-22 cs.LG
NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting
虽然Transformer在广泛的领域特别是自然语言处理（NLP）领域取得了突破性的成功，但将其应用于时间序列预测仍然是一个巨大的挑战。在时间序列预测中，对标准Transformer模型进行自回归解码不可避免地会引入巨大的累积误差。此外，利用Transformer处理问题中的时空依赖性仍然面临着困难。为了解决这些限制，这项工作是第一次尝试提出一个非自回归Transformer架构的时间序列预测，旨在克服时间延迟和累积误差的问题，在规范的Transformer。此外，本文提出了一种新的时空注意力机制，通过学习的时间影响图来搭建一座桥梁，填补时空注意力之间的空白，从而实现时空依赖的一体化处理。从经验上讲，我们在以自我为中心的多样化未来定位数据集上评估了我们的模型，并在实时性和准确性方面展示了最先进的性能。
2021-05-29 cs.LG stat.ML
MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting
Layer 6 AI；University of Toronto（多伦多大学）；The Vector Institute（向量研究所）
提出MultiResFormer，通过自适应选择最优patch长度并利用多分支周期性编码，在长期和短期预测中优于现有Transformer和CNN基线，且参数更少。
2024-02-08 cs.LG
Distributed Lag Transformer based on Time-Variable-Aware Learning for Explainable Multivariate Time Series Forecasting
Changwon National University（昌原国立大学）
提出DLFormer架构，通过集成分布式滞后嵌入和时间变量感知学习机制，在十个数据集上实现了高精度且可解释的多变量时间序列预测。
2025-08-13 cs.LG
STAEformer: Spatio-Temporal Adaptive Embedding Makes Vanilla Transformer SOTA for Traffic Forecasting
Southern University of Science and Technology（南方科技大学）；The University of Tokyo（东京大学）；University of Technology Sydney（悉尼科技大学）
针对交通预测中捕捉复杂时空模式的难题，本研究提出时空自适应嵌入组件，搭配普通Transformer构建的STAEformer在5个真实数据集上达SOTA，验证了该嵌入在捕捉时空关联与时序信息上的关键作用。
2023-10-08 cs.LG
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden（计算机与信息科学系（IDA）、REAL、AIICS、利厄普大学，瑞典）
本文实证比较预训练大规模时间序列模型（如Moirai、TimeGPT）与传统小规模Transformer在多个基准上的表现，揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case
Google, LLC（谷歌有限责任公司）
本文提出了一种新的时间序列预测方法。时间序列数据在许多科学和工程学科中普遍存在。时间序列预测是时间序列数据建模的一项重要任务，也是机器学习的一个重要领域。在这项工作中，我们开发了一种新的方法，采用基于transformer的机器学习模型来预测时间序列数据。这种方法的工作原理是利用自我注意力机制从时间序列数据中学习复杂的模式和动态。此外，它是一个通用的框架，可以应用于单变量和多变量时间序列数据，以及时间序列嵌入。使用流感样疾病（ILI）预测作为案例研究，我们表明，我们的方法产生的预测结果是有利的国家的最先进的。
2020-01-23 cs.LG stat.ML
