TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting
Beihang University（北京航空航天大学）
时间序列预测对于广泛的实际应用至关重要。最近的研究表明，Transformer在处理这类问题，特别是长序列时间序列输入（LSTI）和长序列时间序列预测（LSTF）问题上的优越性。为了提高Transformer的效率和增强局部性，这些研究将Transformer与CNN进行了不同程度的结合。然而，它们的组合是松散耦合的，并且没有充分利用CNN。为了解决这个问题，我们提出了紧耦合卷积Transformer（TCCT）的概念，以及将变换后的CNN架构应用到Transformer中的三种TCCT架构：（1）CSPAttention：通过将CSPNet与自注意机制融合，自注意机制的计算成本降低了30%，内存使用量减少了50%，同时实现了等同或超越预测精度。(2)扩展因果卷积：该方法是通过用扩张的因果卷积层代替规范卷积层来修改Informer提出的提取操作，以获得指数感受野增长。(3)通过机制：将穿透机制应用于自注意块的堆叠，有助于类transformer模型以可忽略的额外计算成本获得更细粒度的信息。我们在真实数据集上的实验表明，我们的TCCT架构可以大大提高现有的最先进的Transformer模型的时间序列预测的性能，具有更低的计算和内存成本，包括典型的Transformer，LogTrans和Informer。
2022-02-12 cs.AI cs.LG
Inter-Series Transformer: Attending to Products in Time Series Forecasting
MIT（麻省理工学院）；IBM Research（IBM研究院）
本文提出Inter-Series Transformer，通过跨时间序列注意力和共享多任务网络捕捉产品间交互并缓解稀疏性，在医疗设备供应链案例及公开数据集上提升需求预测性能。
2024-08-07 cs.AI cs.LG
Reverso: Efficient Time Series Foundation Models for Zero-shot Forecasting
Qube Research \& Technologies；Allen Institute for AI；Massachusetts Institute of Technology
Reverso通过高效的小型混合模型实现零样本时间序列预测，显著提升性能-效率平衡。
2026-07-28 cs.AI cs.LG
Building Transportation Foundation Model via Generative Graph Transformer
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出交通基础模型（TFM），通过图结构和动态图生成算法将交通仿真原理融入预测，以数据驱动方式解决传统系统在复杂性和准确性上的挑战。
2023-05-24 cs.AI cs.LG
Mechanistic Interpretability for Transformer-based Time Series Classification
Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所）；Leiden University（莱顿大学）
本文提出通过机制可解释性技术，如激活补丁、注意力显著性和稀疏自编码器，来揭示Transformer在时间序列分类中的内部因果结构和关键机制。
2025-11-26 cs.AI cs.LG
On-device AI: Quantization-aware Training of Transformers in Time-Series
University of Duisburg-Essen（杜伊斯堡-埃森大学）
针对资源受限传感器设备部署庞大Transformer模型性能不佳的问题，研究通过量化感知训练优化时间序列预测模型，并将其作为硬件加速器部署于嵌入式FPGA上，以减小模型规模与内存占用。
2024-08-29 cs.AI cs.LG
Attention Augmented Convolutional Transformer for Tabular Time-series
Airt Research（Airt研究中心）；Algebra University College（代数大学学院）
时间序列分类是工业数据科学中最常执行的任务之一，工业环境中最广泛使用的数据表示之一是表格表示。在这项工作中，我们提出了一种新的可扩展架构，用于从表格时间序列数据中学习表示，并随后执行下游任务，如时间序列分类。表示学习框架是端到端的，类似于语言建模中的Transformers（BERT）的双向编码器表示，但是，我们引入了适用于时间序列数据预训练的新掩蔽技术。此外，我们还使用了用Transformers增强的一维卷积，并探索了它们的有效性，因为时间序列数据集自然适合一维卷积。我们还提出了一种新的时间戳嵌入技术，这有助于处理在不同的时间粒度级别的周期性周期，和非周期性的趋势存在于时间序列数据。我们提出的模型是端到端的，可以处理分类和连续值输入，并且不需要对连续特征进行任何量化或编码。
2021-10-05 cs.AI cs.LG
TraM : Enhancing User Sleep Prediction with Transformer-based Multivariate Time Series Modeling and Machine Learning Ensembles
Kookmin University（国民大学）；Korea University（高丽大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出TraM框架，结合Time Series Transformer和机器学习集成预测睡眠质量、情绪与压力，实验得分6.10/10，优于其他方法。
2024-10-15 cs.AI cs.LG
DDMT: Denoising Diffusion Mask Transformer Models for Multivariate Time Series Anomaly Detection
本文提出DDMT框架，通过自适应动态邻居掩码缓解弱身份映射问题，并首次结合去噪扩散模型与Transformer建模正常数据分布，在五个公开数据集上取得最先进的多元时间序列异常检测性能。
2023-10-30 cs.AI cs.LG
Synthetic Series-Symbol Data Generation for Time Series Foundation Models
School of Telecommunications Engineering Xidian University（电子科技大学电信工程学院）；School of Artificial Intelligence Xidian University（电子科技大学人工智能学院）；School of Cyber Engineering Xidian University（电子科技大学网络安全工程学院）
本文提出序列-符号合成数据生成机制，并构建 SymTime 基础模型，利用符号表达式增强时间序列表示，在五项 TSA 任务上达到与真实数据预训练模型相当的性能。
2025-10-20 cs.AI cs.LG
Mitigating Data Scarcity in Time Series Analysis: A Foundation Model with Series-Symbol Data Generation
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；The State Key Laboratory of Integrated Services Networks（综合业务网络国家重点实验室）；School of Network and Information Security, Xidian University（西安电子科技大学网络与信息安全学院）
针对时间序列分析中数据稀缺与不平衡问题，提出序列-符号双模态数据生成机制，构建S2数据集并训练预训练基础模型SymTime，在五大任务上性能媲美真实数据预训练的模型，为缓解数据稀缺提供新路径。
2025-02-21 cs.AI cs.LG
UTICA: Multi-Objective Self-Distllation Foundation Model Pretraining for Time Series Classification
Ecole Polytechnique（巴黎高等师范学院）；Huawei Noah’s Ark Lab（华为诺亚实验室）；com（42.com）
UTICA通过自蒸馏方法在时间序列分类中实现最先进的性能，结合增强裁剪和块掩码技术，提升模型对时间和局部结构的表征能力。
2026-03-02 cs.AI cs.LG
PatchTrAD: A Patch-Based Transformer focusing on Patch-Wise Reconstruction Error for Time Series Anomaly Detection
INSA Rouen（鲁昂国立应用科学学院）；Univ Rouen（鲁昂大学）；Normandie Univ（诺曼底大学）
本文提出PatchTrAD，一种在重构框架下结合分块与Transformer编码器的时间序列异常检测模型，在多个基准上达到与前沿深度学习模型相当的检测性能，并提升推理效率。
2025-06-10 cs.AI cs.LG
Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
Tsinghua University（清华大学）
延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。现有的基于transformer的模型采用各种自注意机制来发现远程依赖关系。然而，长期未来的复杂时间模式阻止了模型找到可靠的依赖关系。此外，Transformers必须采用稀疏版本的逐点自关注的长序列效率，导致信息利用瓶颈。除了Transformers之外，我们还将Autoformer设计为具有自相关机制的新型分解架构。我们打破了序列分解的预处理惯例，并将其更新为深层模型的基本内部块。这种设计使Autoformer具有复杂时间序列的渐进分解能力。进一步，受随机过程理论的启发，设计了基于序列周期性的自相关机制，在子序列层次上进行依赖发现和表示聚合。自相关在效率和准确性方面都优于自我注意。在长期预测中，Autoformer具有最先进的准确性，在六个基准上相对提高了38%，涵盖五个实际应用：能源，交通，经济，天气和疾病。代码可在以下存储库中获得：\url{https://github.com/thuml/Autoformer}。
2022-01-07 cs.AI cs.LG
A Transformer-based Framework for Multivariate Time Series Representation Learning
Brown University（布朗大学）；IBM Research（IBM研究院）
在这项工作中，我们首次提出了一个基于transformer的框架，用于多变量时间序列的无监督表示学习。预训练模型可以用于下游任务，如回归和分类，预测和缺失值插补。通过在多个多元时间序列回归和分类的基准数据集上评估我们的模型，我们表明我们的建模方法不仅代表了迄今为止对多元时间序列进行无监督学习的最成功的方法，而且它还超过了当前最先进的监督方法的性能;即使在训练样本的数量非常有限的情况下，它也能这样做，同时提供计算效率。最后，我们证明了我们的Transformer模型的无监督预训练比完全监督学习提供了实质性的性能优势，即使没有利用额外的未标记数据，即，通过无监督目标重用相同的数据样本。
2020-12-08 cs.AI cs.LG
LATST: Are Transformers Necessarily Complex for Time-Series Forecasting
Dizhen Liang（独立研究者）
针对 Transformer 在多变量长期预测中逊于线性基线的问题，本文提出 LATST 方法缓解熵坍缩与训练不稳定，在多个真实数据集上超越现有最优 Transformer 模型，并以更少参数达到竞争性能。
2025-07-08 cs.AI cs.LG
Toto: Time Series Optimized Transformer for Observability
Datadog
本研究提出由Datadog开发的时间序列预测基础模型Toto，基于万亿级含75%平台匿名指标的数据集训练，在可观测性任务及多个公开基准的零样本预测上达到现有最优水平。
2024-07-11 cs.AI cs.LG
Towards Foundation Auto-Encoders for Time-Series Anomaly Detection
( ) AIT Austrian Institute of Technology
本文提出基于VAE和膨胀卷积的基础自编码器FAE，通过在海量时间序列上预训练实现通用建模与零样本异常检测，并在多个数据集上验证了其初步效果。
2025-07-02 cs.AI cs.LG
Enhancing Transformer Efficiency for Multivariate Time Series Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
目前大多数多变量时间序列（MTS）分类算法的重点是提高预测精度。然而，对于大规模（高维或长序列）时间序列（TS）数据集，还有一个额外的考虑因素：设计一个有效的网络架构，以减少计算成本，如训练时间和内存占用。在这项工作中，我们提出了一种基于模块修剪和帕累托分析的方法来研究模型效率和准确性之间的关系，以及其复杂性。在MTS基准数据集上的实验结果表明了该方法的有效性。
2022-03-28 cs.AI cs.LG
Towards Self-Supervised Foundation Models for Critical Care Time Series
David S. Hippocampus Department of Computer Science Cranberry-Lemon University（Cranberry-Lemon大学计算机科学系）
本文提出基于双轴Transformer的重症监护时间序列自监督基础模型，在合并电子健康记录上预训练，微调后优于监督基线，尤其在小数据集上，展现资源受限环境下的泛化潜力。
2025-09-24 cs.AI cs.LG
Generative Modeling of Networked Time-Series via Transformer Architectures
Virginia Tech（弗吉尼亚理工大学）
针对安全领域数据受限且现有合成样本难以提升模型性能的问题，本文提出一种高效的基于 Transformer 的时间序列生成框架，可跨数据集生成高质量样本并取得 SOTA 结果。
2025-06-08 cs.AI cs.LG
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Key Laboratory of Data Science, Fudan University（复旦大学上海市数据科学重点实验室）；Xiaohongshu Inc.（小红书公司）
本文提出PENGUIN，一种周期-嵌套组注意力机制，用于提升Transformer在长期时间序列预测中的性能，通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting
Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（新疆物理化学技术研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Laboratory of Minority Speech and Language Information Processing（新疆少数民族语言信息处理实验室）
SCFormer通过在Transformer的线性变换中引入时间约束并利用HiPPO处理累积历史状态，解决了通道级自注意力缺乏时间约束和未充分利用历史序列的问题，在多元时间序列预测上显著优于主流基线。
2025-05-05 cs.AI cs.LG
Evaluating Temporal Plasticity in Foundation Time Series Models for Incremental Fine-tuning
School of Software Engineering（软件工程学院）；National Key Laboratory of Fundamental Science of Synthetic Vision（合成视觉基础科学国家重点实验室）；School of Mechanical Engineering（机械工程学院）；China Electric Power Research Institute（中国电力科学研究院）；School of Computer Science（计算机科学学院）
本研究首次系统评估基础时间序列模型在增量微调中的时间塑性，发现其优于传统模型，并提出优化微调策略比开发专用小模型更有价值。
2025-04-20 cs.AI cs.LG
Physics-Guided Multimodal Transformers are the Necessary Foundation for the Next Generation of Meteorological Science
School of Artificial Intelligence, Beijing University of Posts；Huawei Noah's Ark Lab；Department of Earth System Science, Tsinghua University；College of Computing \& Data Science, Nanyang Technological University；State Key Laboratory of Networking；Switching Technology, Beijing University of Posts
本文提出通过物理引导的多模态Transformer构建下一代气象科学的统一范式，以提升模型的科学一致性和物理约束能力。
2026-01-28 cs.AI cs.LG
Leveraging Generic Time Series Foundation Models for EEG Classification
Université Paris-Saclay, Inria, CEA（巴黎萨克雷大学、法国国家信息与自动化研究所、法国原子能委员会）；Huawei Noah’s Ark Lab（华为诺亚实验室）
研究通用时间序列基础模型在EEG分类任务上的适用性，发现其在真实和合成数据上预训练后均优于EEGNet和CBraMod，表明跨域预训练模型可有效迁移至脑信号分析。
2025-10-31 cs.AI cs.LG
Are Transformers Effective for Time Series Forecasting?
The Chinese University of Hong Kong（香港中文大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
最近，针对长期时间序列预测（LTSF）任务的基于Transformer的解决方案激增。尽管在过去的几年里，性能不断提高，但我们质疑这项工作中这条研究路线的有效性。具体来说，Transformers可以说是提取长序列中元素之间语义相关性的最成功的解决方案。然而，在时间序列建模中，我们要提取连续点的有序集合中的时间关系。虽然采用位置编码和使用令牌将子序列嵌入到Transformers中有助于保留一些排序信息，但\emph{permutation-invariant}自注意力机制的性质不可避免地导致时间信息丢失。为了验证我们的主张，我们引入了一组非常简单的一层线性模型，称为LTSF-Linear进行比较。在九个真实数据集上的实验结果表明，LTSF-Linear在所有情况下都出人意料地优于现有的基于Transformer的复杂LTSF模型，并且通常都有很大的优势。此外，我们进行了全面的实证研究，探讨LTSF模型的各种设计元素对它们的时间关系抽取能力的影响。我们希望这一惊人的发现为LTSF任务开辟了新的研究方向。我们还提倡重新审视基于Transformer的解决方案对其他时间序列分析任务的有效性（例如，异常检测）。代码可在：\url{https://github.com/cure-lab/LTSF-Linear} .
2022-08-17 cs.AI cs.LG
Unified Training of Universal Time Series Forecasting Transformers
Salesforce AI Research（Salesforce AI研究院）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文提出Moirai，一种基于掩码编码器的通用时间序列预测Transformer，通过跨频率学习等改进，在大规模数据集LOTSA上训练，实现零样本预测性能媲美全样本模型。
2024-05-22 cs.AI cs.LG
Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting
Alibaba Group（阿里巴巴集团）；Meta Platforms, Inc.（元平台公司）
本文提出Sparse-VQ Transformer，用稀疏向量量化替代FFN层并结合RevIN，减少噪声影响和参数，在十个基准上MAE降低7.84%和4.17%，可集成于现有模型提升预测性能。
2024-02-08 cs.AI cs.LG
X-FEMR: A Token-level Explainable Approach for Electronic Health Records Foundation Models using Transformer-based Models
School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）；Royal Melbourne Hospital（皇家墨尔本医院）
针对电子健康记录基础模型是黑箱模型的问题，提出基于Transformer的令牌级可解释性方法，训练替代模型近似其行为，识别有影响力令牌，引入临床对齐度量，结果显示该方法能实现可解释且可信的临床人工智能。
2026-07-08 cs.AI cs.LG
ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer
Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）
长序列数据的分析在许多实际应用中仍然具有挑战性。我们提出了一种新的架构，ChunkFormer，它改进了现有的Transformer框架，以应对挑战，同时处理长时间序列。原始的基于transformer的模型采用注意力机制来发现沿着序列的全局信息，以利用上下文数据。长序列数据捕获局部信息，例如短数据序列中的季节性和波动。此外，原来的Transformer在训练课程中通过承载整个注意力矩阵消耗更多的资源。为了克服这些挑战，ChunkFormer将长序列拆分为较小的序列块用于注意力计算，并在每个阶段逐步应用不同的块大小。通过这种方式，所提出的模型逐渐学习局部和全局信息，而不改变输入序列的总长度。我们已经在不同的业务领域广泛地测试了这种新架构的有效性，并证明了这种模型相对于现有的基于transformer的模型的优势。
2021-12-30 cs.AI cs.LG
RATFM: Retrieval-augmented Time Series Foundation Model for Anomaly Detection
Chuo University（中川大学）
本文提出检索增强时间序列基础模型RATFM，通过引入目标域正常示例实现测试时自适应异常检测，在避免领域微调的同时取得与领域内微调相当的性能。
2025-06-02 cs.AI cs.LG
SST: Multi-Scale Hybrid Mamba-Transformer Experts for Time Series Forecasting
Illinois Institute of Technology（伊利诺伊理工学院）；Emory University（埃默里大学）
针对时间序列预测中 Mamba 和 Transformer 单独使用的局限性，提出多尺度混合专家模型 SST，通过分解策略将长程模式交由 Mamba 专家、短程变化交由 Transformer 专家处理，并结合多尺度修补机制，实现了 SOTA 性能与线性可扩展性。
2025-11-02 cs.AI cs.LG
Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting
Alibaba Group（阿里巴巴集团）
本文提出Stecformer模型，通过半自适应图的时空编码提取器和级联解码预测器CDP，解决多元长期时间序列预测中空间特征提取不足和不同预测周期一致性问题，在五个基准数据集上取得与最先进方法相当的性能。
2023-05-25 cs.AI cs.LG
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架，在保持表达能力的同时降低复杂度，实验显示平均性能提升12.4%，参数量减少61.3%。
2024-12-16 cs.AI cs.LG
Persistence Initialization: A novel adaptation of the Transformer architecture for Time Series Forecasting
Norwegian University of Science and Technology（挪威科技大学）
时间序列预测是一个重要的问题，有许多现实世界的应用。深度神经网络的集成最近已经实现了令人印象深刻的预测准确性，但是这样大的集成在许多现实世界的设置中是不切实际的。Transformer模型已成功应用于各种具有挑战性的问题。我们提出了一个新的适应原来的Transformer架构，专注于时间序列预测的任务，称为持久性？该模型初始化为一个朴素的持久化模型，通过使用一个乘法门控机制结合剩余跳过连接。我们使用具有ReZero标准化和旋转位置编码的解码器Transformer，但是适应适用于任何自回归神经网络模型。我们评估我们提出的架构上具有挑战性的M4数据集，实现竞争力的性能相比，集成为基础的方法。我们还比较了现有的最近提出的Transformer模型的时间序列预测，表现出优越的性能M4数据集。广泛的消融研究表明，持久性神经网络导致更好的性能和更快的收敛。随着模型大小的增加，只有我们提出的自适应模型在性能上有所提高。我们还进行了额外的消融研究，以确定选择的归一化和位置编码的重要性，并发现使用旋转编码和ReZero归一化是必不可少的良好的预测性能。
2022-08-30 cs.AI cs.LG
ECG-Soup: Harnessing Multi-Layer Synergy for ECG Foundation Models
针对心电图基础模型，提出ECG-Soup方法，通过多层协同提升下游任务性能。
2025-10-24 cs.AI cs.LG
A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting
Shanghai Jiao Tong University（上海交通大学）
多变量时间序列预测（MTSF）是许多实际应用中的一个基本问题。近年来，Transformer已成为MTSF的事实上的解决方案，特别是对于长期的情况。然而，除了一个正向操作之外，现有MTSF Transformer架构中的基本配置几乎没有经过仔细验证。在这项研究中，我们指出，目前的令牌化策略在MTSF Transformer架构忽略了令牌的均匀性感应偏置的Transformers。因此，普通MTSF Transformer难以捕获时间序列中的细节，表现出较差的性能。基于这一观察，我们对普通MTSF Transformer的基本架构进行了一系列的改进。我们改变了有缺陷的标记化策略，以及解码器结构和嵌入。令人惊讶的是，进化的简单Transformer架构是高度有效的，其成功地避免了普通MTSF Transformer中的过平滑现象，实现了更详细和准确的预测，并且甚至显著优于为MTSF精心设计的最先进的Transformers。
2022-12-06 cs.LG
Decomposition-based multi-scale transformer framework for time series anomaly detection
International College, University of Chinese Academy of Sciences（中国科学院大学国际学院）
提出基于分解的多尺度Transformer框架TransDe，结合时间序列分解与对比学习，以异步损失函数提升多变量时间序列异常检测性能，在五个数据集上优于十二个基线。
2025-04-19 cs.AI cs.LG
A Survey of Transformer Enabled Time Series Synthesis
Mississippi State University（密西西比州立大学）；Engineer Research and Development Center（工程研究与发展中心）；Department of Defence（国防部）
本综述探讨了transformer在时间序列生成中的应用，回顾了该稀疏子领域的多种方法（如GANs、扩散模型等），并指出了研究空白与未来方向。
2024-06-04 cs.AI cs.LG
Compatible Transformer for Irregularly Sampled Multivariate Time Series
Shanghai Jiao Tong University（上海交通大学）；Amazon Web Service（亚马逊云科技）；University of Technology Sydney（悉尼科技大学）
针对不规则采样多元时间序列，提出基于变量内/变量间注意力的Transformer编码器CoFormer，以学习样本级时间交互表示，在分类和预测等下游任务上显著优于现有方法。
2023-10-17 cs.AI cs.LG
TTS-GAN: A Transformer-based Time-Series Generative Adversarial Network
Texas State University（德克萨斯州立大学）
以时间序列形式出现的信号测量是医学机器学习应用中最常见的数据类型之一。然而，这样的数据集通常很小，使得深度神经网络架构的训练无效。对于时间序列，我们可以用来扩展数据集大小的一套数据增强技巧受到保持信号基本属性的需要的限制。生成对抗网络（GAN）生成的数据可以用作另一种数据增强工具。基于RNN的GANs的缺点是它们不能有效地对具有不规则时间关系的长序列数据点进行建模。为了解决这些问题，我们介绍了TTS-GAN，一个基于变换的GAN，它可以成功地产生现实的合成时间序列的数据序列的任意长度，类似于真实的。GAN模型的生成器和卷积网络都使用纯Transformer编码器架构构建。我们使用可视化和降维技术来展示真实和生成的时间序列数据的相似性。我们还比较了我们生成的数据的质量与现有的最佳替代方案，这是一个基于RNN的时间序列GAN。
2022-06-26 cs.AI cs.LG
WaveMoE: A Wavelet-Enhanced Mixture-of-Experts Foundation Model for Time Series Forecasting
Sun Yat-sen University（中山大学）；Xiaomi Corporation（小米集团）；National University of Singapore（新加坡国立大学）
WaveMoE通过整合小波域表示提升时间序列预测能力，采用双路径架构和共享专家路由机制，实验表明其在16个基准数据集上具有提升预测性能的潜力。
2026-04-12 cs.AI cs.LG
Time Series Forecasting Using a Hybrid Deep Learning Method: A Bi-LSTM Embedding Denoising Auto Encoder Transformer
本文提出Bi-LSTM嵌入去噪自编码器模型BDM用于短期电动汽车充电负荷预测，在五个时间步中的四个上优于Transformer、CNN、RNN、LSTM和GRU等基准模型，提升了时间序列预测与决策能力。
2025-09-21 cs.AI cs.LG
PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
针对时间序列预测中高维数据和长期依赖的挑战，提出PSformer模型，通过参数共享减少训练参数并引入时空分段注意力捕捉局部依赖，在基准数据集上准确性和可扩展性优于现有方法。
2025-02-11 cs.AI cs.LG
In-Context Fine-Tuning for Time-Series Foundation Models
Google Research（谷歌研究院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究提出时序基础模型的上下文内微调方法，通过预训练模型在推理时利用上下文窗口内的相关时序示例适应目标域分布，在主流预测基准上性能优于多种对比方法，甚至媲美目标域显式微调的基础模型。
2024-10-31 cs.AI cs.CL cs.LG
A Unified Hyperparameter Optimization Pipeline for Transformer-Based Time Series Forecasting Models
University of Luxembourg（卢森堡大学）；Monash University（莫纳什大学）
本文提出统一的超参数优化流水线，用于基于Transformer的时间序列预测模型，并在多个SOTA模型和基准数据集上验证其通用性与实用性。
2025-01-02 cs.AI cs.LG
Diffusion Transformers for Tabular Data Time Series Generation
Prometeia Associazione（普罗米修斯协会）；University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；Prometeia SpA（普罗米修斯股份公司）
针对表格数据时间序列生成这一未充分探索的领域，本文提出基于扩散Transformer（DiTs）的方法，扩展该框架以处理表格数据异构性和序列可变长度问题，在六个数据集上的实验表明其大幅优于现有方法。
2025-04-18 cs.AI cs.LG
Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
本文提出Seg-MoE，通过分段式混合专家机制提升时间序列预测的准确性，验证了分段路由在捕捉长期时间动态中的有效性。
2026-03-14 cs.AI cs.LG
HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting
Northwestern Polytechnical University（北华理工大学）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学AI研究院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所，东部技术研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
HTMformer通过混合时间与多变量嵌入提升时间序列预测的准确性和效率
2025-12-15 cs.AI cs.LG
Considering Nonstationary within Multivariate Time Series with Variational Hierarchical Transformer for Forecasting
National Laboratory of Radar Signal Processing（雷达信号处理国家重点实验室）；Xidian University（西安电子科技大学）
针对现有多变量时间序列预测方法忽略固有非平稳性、缺乏随机性的问题，提出融合层次概率生成模块与Transformer的HTV-Trans模型，有效提升预测性能。
2024-03-08 cs.AI cs.LG
Ister: Linear Transformer for Efficient Multivariate Time Series Forecasting
Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））；ShenZhen University（深圳大学）；Shenzhen Energy Group Co., Ltd.（深圳能源集团有限公司）；South China University of Technology（华南理工大学）
Ister提出了一种线性复杂度的注意力机制和倒置季节趋势分解策略，提升多变量时间序列预测的准确性和效率，实验证明其在多个基准上达到最优性能。
2026-05-09 cs.AI cs.LG
Transformers in Time-series Analysis: A Tutorial
Moffitt Cancer Center（莫菲特癌症中心）；Rowan University（罗文大学）
本教程系统介绍Transformer架构及其在时间序列分析中的应用，涵盖核心组件、改进方法及训练最佳实践，为相关研究提供全面指导。
2023-07-01 cs.LG
ETSformer: Exponential Smoothing Transformers for Time-series Forecasting
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）
近年来，Transformers在时间序列预测中得到了积极的研究。虽然在各种情况下经常显示出有希望的结果，但是传统的Transformers并没有被设计为充分利用时间序列数据的特性，因此受到一些基本限制，例如，它们通常缺乏分解能力和可解释性，对于长期预测来说既不有效也没有效率。在本文中，我们提出了ETSFormer，一个新的时间序列Transformer架构，它利用指数平滑的原则，改善Transformers的时间序列预测。特别是，受时间序列预测中经典指数平滑方法的启发，本文提出了新的指数平滑注意（ESA）和频率注意（FA）机制来取代传统Transformers中的自注意机制，从而提高了预测精度和效率。在此基础上，我们重新设计了Transformer的架构与模块化分解块，使它可以学习分解的时间序列数据到可解释的时间序列组件，如水平，增长和季节性。在各种时间序列基准上的大量实验验证了该方法的有效性和优势。代码可在https://github.com/salesforce/ETSformer上获得。
2022-06-20 cs.LG
