Tutorial on the Probabilistic Unification of Estimation Theory, Machine Learning, and Generative AI
School of Technology and Innovations, University of Vaasa(技术与创新学院,瓦萨大学)
本文通过统一概率框架连接经典估计理论与现代机器学习,论证最大似然、贝叶斯推断和深度学习等方法共享从含噪观测中推断隐藏原因的目标,兼具理论综合与实践指导价值。
2025-08-21 cs.AI cs.LG
U-shaped Transformer: Retain High Frequency Context in Time Series Analysis
School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology(上海理工大学光电信息与计算机工程学院)
针对时间序列预测中transformer高频信息丢失、性能不及MLP的问题,提出融合MLP优势、引入Unet跳层连接与多尺度特征提取的U-shaped Transformer,以低成本在多数据集上取得先进效果。
2023-10-08 cs.CV cs.LG
Advanced Risk Prediction and Stability Assessment of Banks Using Time Series Transformer Models
Southern Methodist University(南卫理公会大学);Washington University in St. Louis(圣路易斯华盛顿大学);New York University(纽约大学);College of William & Mary(威廉与玛丽学院);Stevens Institute of Technological(史蒂文斯理工学院)
针对传统银行稳定性指数预测方法依赖单维度数据难以适应复杂市场变化的问题,本文提出基于时间序列Transformer的预测框架,通过自注意力机制捕捉金融数据复杂依赖关系,实验表明其在MSE和MAE指标上优于LSTM等模型,为金融风险管理提供新途径。
2024-12-04 cs.LG q-fin.RM
Mechanistic Interpretability for Transformer-based Time Series Classification
Leiden Institute of Advanced Computer Science(莱顿先进计算机科学研究所);Leiden University(莱顿大学)
本文提出通过机制可解释性技术,如激活补丁、注意力显著性和稀疏自编码器,来揭示Transformer在时间序列分类中的内部因果结构和关键机制。
2025-11-26 cs.AI cs.LG
Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting
Tsinghua University(清华大学)
延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。现有的基于transformer的模型采用各种自注意机制来发现远程依赖关系。然而,长期未来的复杂时间模式阻止了模型找到可靠的依赖关系。此外,Transformers必须采用稀疏版本的逐点自关注的长序列效率,导致信息利用瓶颈。除了Transformers之外,我们还将Autoformer设计为具有自相关机制的新型分解架构。我们打破了序列分解的预处理惯例,并将其更新为深层模型的基本内部块。这种设计使Autoformer具有复杂时间序列的渐进分解能力。进一步,受随机过程理论的启发,设计了基于序列周期性的自相关机制,在子序列层次上进行依赖发现和表示聚合。自相关在效率和准确性方面都优于自我注意。在长期预测中,Autoformer具有最先进的准确性,在六个基准上相对提高了38%,涵盖五个实际应用:能源,交通,经济,天气和疾病。代码可在以下存储库中获得:\url{https://github.com/thuml/Autoformer}。
2022-01-07 cs.AI cs.LG
Generative Modeling of Networked Time-Series via Transformer Architectures
Virginia Tech(弗吉尼亚理工大学)
针对安全领域数据受限且现有合成样本难以提升模型性能的问题,本文提出一种高效的基于 Transformer 的时间序列生成框架,可跨数据集生成高质量样本并取得 SOTA 结果。
2025-06-08 cs.AI cs.LG
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Data Science, Fudan University(复旦大学上海市数据科学重点实验室);Xiaohongshu Inc.(小红书公司)
本文提出PENGUIN,一种周期-嵌套组注意力机制,用于提升Transformer在长期时间序列预测中的性能,通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器)
长序列数据的分析在许多实际应用中仍然具有挑战性。我们提出了一种新的架构,ChunkFormer,它改进了现有的Transformer框架,以应对挑战,同时处理长时间序列。原始的基于transformer的模型采用注意力机制来发现沿着序列的全局信息,以利用上下文数据。长序列数据捕获局部信息,例如短数据序列中的季节性和波动。此外,原来的Transformer在训练课程中通过承载整个注意力矩阵消耗更多的资源。为了克服这些挑战,ChunkFormer将长序列拆分为较小的序列块用于注意力计算,并在每个阶段逐步应用不同的块大小。通过这种方式,所提出的模型逐渐学习局部和全局信息,而不改变输入序列的总长度。我们已经在不同的业务领域广泛地测试了这种新架构的有效性,并证明了这种模型相对于现有的基于transformer的模型的优势。
2021-12-30 cs.AI cs.LG
SST: Multi-Scale Hybrid Mamba-Transformer Experts for Time Series Forecasting
Illinois Institute of Technology(伊利诺伊理工学院);Emory University(埃默里大学)
针对时间序列预测中 Mamba 和 Transformer 单独使用的局限性,提出多尺度混合专家模型 SST,通过分解策略将长程模式交由 Mamba 专家、短程变化交由 Transformer 专家处理,并结合多尺度修补机制,实现了 SOTA 性能与线性可扩展性。
2025-11-02 cs.AI cs.LG
Energy-Efficient Transformer Inference: Optimization Strategies for Time Series Classification
Texas State University(德克萨斯州立大学)
针对Transformer在时间序列分类中计算需求高的问题,研究了结构化剪枝与量化优化策略,经三个数据集实验验证,静态量化降能耗29.14%且保性能,L1剪枝提推理速度63%且精度损失小,为资源受限环境部署提供支撑。
2025-05-21 cs.AI cs.LG cs.PF
BolT: Fused Window Transformers for fMRI Time Series Analysis
Bilkent University(比尔肯特大学)
深度学习模型在分析高维功能性MRI(fMRI)数据方面实现了性能飞跃。然而,许多以前的方法是次优敏感的上下文表示在不同的时间尺度。在这里,我们提出了Bolt,血氧水平依赖的Transformer模型,用于分析多变量fMRI时间序列。BolT利用了一个级联的Transformer编码器,配备了一个新的融合窗口注意机制。在时间序列内的时间重叠窗口上执行编码以捕获局部表示。为了在时间上整合信息,计算每个窗口中的基本标记和来自相邻窗口的边缘标记之间的跨窗口注意力。为了从局部表示逐渐过渡到全局表示,窗口重叠的程度以及由此的边缘标记的数量在级联中逐渐增加。最后,一种新的跨窗口正则化对齐高级别的分类功能在整个时间序列。在大规模公共数据集上的综合实验证明了BolT相对于最先进方法的优越性能。此外,解释性分析,以确定具有里程碑意义的时间点和区域,最显着的模型决策证实了突出的神经科学研究结果在文献中。
2023-02-20 cs.LG eess.SP
Learning Novel Transformer Architecture for Time-series Forecasting
Nanyang Technological University(南洋理工大学);University of Hong Kong(香港大学);University of Virginia(弗吉尼亚大学)
本文提出 AutoFormer-TS 框架,通过 AB-DARTS 可微神经架构搜索为时间序列预测自动探索新型 Transformer 结构,并在多个基准上超越现有方法。
2025-02-19 cs.CL cs.LG
Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
本文提出Seg-MoE,通过分段式混合专家机制提升时间序列预测的准确性,验证了分段路由在捕捉长期时间动态中的有效性。
2026-03-14 cs.AI cs.LG
TACTiS: Transformer-Attentional Copulas for Time Series
ServiceNow Research(ServiceNow研究院)
时变量的估计是医疗保健和金融等领域决策的基本组成部分。然而,这种估计的实际效用受到它们量化预测不确定性的准确程度的限制。在这项工作中,我们解决的问题,估计高维多变量时间序列的联合预测分布。我们提出了一种通用的方法,基于Transformer架构,估计联合分布使用基于注意力的解码器,可证明学习模仿非参数copula的属性。由此产生的模型具有几个理想的特性:它可以扩展到数百个时间序列,支持预测和插值,可以处理不对齐和不均匀的采样数据,并且可以在训练过程中无缝适应丢失的数据。我们凭经验证明了这些属性,并表明我们的模型在多个真实世界的数据集上产生了最先进的预测。
2022-06-27 cs.LG stat.ML
A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case
University of Victoria(维多利亚大学)
本文提出基于编码器Transformer的多变量时间序列预测框架,用于剩余使用寿命预测,在C-MAPPS数据集上通过扩展窗口方法提升性能,超越13种SOTA模型,平均性能提升137.65%。
2023-08-29 cs.LG eess.SP
Resting-state fMRI Analysis using Quantum Time-series Transformer
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Brain and Cognitive Sciences(脑科学与认知科学系);Wells Fargo(沃伦·巴菲特);Artificial Intelligence Department(人工智能部门);Brookhaven National Laboratory(布鲁赫斯林国家实验室);Department of Psychology(心理学系)
针对经典Transformer在静息态fMRI分析中复杂度高、参数量大、数据需求多的问题,提出基于幺正线性组合和量子奇异值变换的量子时间序列Transformer,以多重对数复杂度实现更优性能,尤其小样本下表现突出,还能可靠识别ADHD临床生物标志物。
2025-08-31 cs.CE cs.LG eess.IV
Paying Attention to Astronomical Transients: Introducing the Time-series Transformer for Photometric Classification
Mullard Space Science Laboratory(穆拉德空间科学实验室);University College London(伦敦大学学院)
针对未来巡天项目海量暂现源测光数据的分类难题,提出适用于多变量时间序列的新型Transformer架构,在PLAsTiCC数据集上取得了与当前最优方法相当的测光分类性能,且具备可解释性。
2023-10-04 astro-ph.IM cs.LG
Multi-modal Time Series Analysis: A Tutorial and Survey
University of Connecticut(康涅狄格大学);University of Houston(休斯顿大学);Morgan Stanley(摩根士丹利);NEC Laboratories America(美国NEC实验室)
本文综述多模态时间序列分析,围绕数据异构、模态鸿沟与对齐噪声等挑战,梳理数据集、通用流程及涵盖融合、对齐和迁移的统一跨模态交互框架,并总结应用与未来方向。
2025-03-17 cs.LG
Deep Generative Transformers for Probabilistic Time Series and Spatiotemporal Forecasting
SAFIR, Sorbonne University Abu Dhabi(SAFIR,索邦大学阿布扎赫尔分校);Indian Institute of Technology Guwahati(印度理工学院古瓦哈蒂分校)
提出Enformer和GEnformer,结合Transformer与engression学习条件分布,无需参数假设即可生成连贯多变量轨迹,在时间序列和时空预测中优于现有方法。
2026-06-23 cs.AI cs.LG stat.ML
Vision Transformer-Based Time-Series Image Reconstruction for Cloud-Filling Applications
University of Luxembourg(卢森堡大学)
本文提出利用视觉Transformer的时间序列多光谱图像重建方法,通过结合时序一致性与SAR数据提升云覆盖区域的图像重建效果。
2026-04-05 cs.AI cs.CV cs.LG
Foundation Models for Time Series Analysis: A Tutorial and Survey
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Beijing Jiao Tong University(北京交通大学);HKUST(GZ)(香港科技大学(广州));Princeton University(普林斯顿大学);University of Connecticut(康涅狄格大学);Monash University(莫纳什大学);Griffith University(格里菲斯大学);Squirrel AI(松鼠AI)
该综述针对现有时间序列基础模型研究多聚焦应用或流程、缺乏内在机制阐释的不足,以方法论为核心分类梳理其架构、预训练等关键要素,系统整合相关进展并指明未来方向。
2024-06-18 cs.LG
Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs
研究如何优化Transformer神经网络推理时间用于金融时间序列实时异常检测,探索不同架构在FPGA板上的高效实现,以最小化延迟进行时间序列异常检测。
2026-07-28 cs.AI cs.AR cs.DC
Deep Learning for Time Series Forecasting: Tutorial and Literature Survey
Amazon Research(亚马逊研究院);Zalando SE(Zalando公司)
基于深度学习的预测方法已成为时间序列预测或预测的许多应用中的首选方法,通常优于其他方法。因此,在过去几年中,这些方法现在在大规模工业预测应用中无处不在,并且一直在预测竞赛中排名最佳(例如,M4和M5)。这一实际成功进一步提高了学术界对理解和改进深度预测方法的兴趣。在这篇文章中,我们提供了一个介绍和概述的领域:我们提出了一些深度预测的重要组成部分;使用这些组成部分,我们调查了最近的深度预测文献的广度。
2022-06-15 cs.LG stat.ML
A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting
Shanghai Jiao Tong University(上海交通大学)
多变量时间序列预测(MTSF)是许多实际应用中的一个基本问题。近年来,Transformer已成为MTSF的事实上的解决方案,特别是对于长期的情况。然而,除了一个正向操作之外,现有MTSF Transformer架构中的基本配置几乎没有经过仔细验证。在这项研究中,我们指出,目前的令牌化策略在MTSF Transformer架构忽略了令牌的均匀性感应偏置的Transformers。因此,普通MTSF Transformer难以捕获时间序列中的细节,表现出较差的性能。基于这一观察,我们对普通MTSF Transformer的基本架构进行了一系列的改进。我们改变了有缺陷的标记化策略,以及解码器结构和嵌入。令人惊讶的是,进化的简单Transformer架构是高度有效的,其成功地避免了普通MTSF Transformer中的过平滑现象,实现了更详细和准确的预测,并且甚至显著优于为MTSF精心设计的最先进的Transformers。
2022-12-06 cs.LG
A Bird's-Eye Tutorial of Graph Attention Architectures
Emory University(埃默里大学)
图神经网络(GNN)在解决图结构问题方面表现出了巨大的进步,特别是在自然语言处理、计算机视觉和推荐系统领域。受Transformer架构成功的启发,关于GNN的注意力变体的工作越来越多,试图在许多这些问题中推进最先进的技术。将“注意力”引入图挖掘被认为是克服图结构数据的噪声、异质性和复杂性以及编码软归纳偏差的一种方法。因此,从鸟瞰图研究这些变体以评估其优点和缺点是至关重要和有利的。我们提供了一个系统的和集中的教程,围绕基于注意力的GNN,希望有利于研究人员处理图结构的问题。我们的教程从注意力函数的角度来看GNN变体,并迭代地构建读者对不同图形注意力变体的理解。
2022-06-06 cs.AI cs.CL cs.LG
Data Driven Decision Making with Time Series and Spatio-temporal Data
East China Normal University(华东师范大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Aalborg University(奥尔堡大学)
本教程聚焦时间序列与时空数据的数据驱动决策,采用“数据-治理-分析-决策”整体范式,介绍异构数据基础、治理方法及“AGREE”分析原则,旨在为相关领域的研究者与实践者提供核心资源。
2025-04-02 cs.DB cs.LG
ETSformer: Exponential Smoothing Transformers for Time-series Forecasting
Salesforce Research Asia(Salesforce亚洲研究院);Singapore Management University(新加坡管理大学)
近年来,Transformers在时间序列预测中得到了积极的研究。虽然在各种情况下经常显示出有希望的结果,但是传统的Transformers并没有被设计为充分利用时间序列数据的特性,因此受到一些基本限制,例如,它们通常缺乏分解能力和可解释性,对于长期预测来说既不有效也没有效率。在本文中,我们提出了ETSFormer,一个新的时间序列Transformer架构,它利用指数平滑的原则,改善Transformers的时间序列预测。特别是,受时间序列预测中经典指数平滑方法的启发,本文提出了新的指数平滑注意(ESA)和频率注意(FA)机制来取代传统Transformers中的自注意机制,从而提高了预测精度和效率。在此基础上,我们重新设计了Transformer的架构与模块化分解块,使它可以学习分解的时间序列数据到可解释的时间序列组件,如水平,增长和季节性。在各种时间序列基准上的大量实验验证了该方法的有效性和优势。代码可在https://github.com/salesforce/ETSformer上获得。
2022-06-20 cs.LG
Minimal Time Series Transformer
Tampere University(坦佩雷大学)
针对原始 Transformer 仅面向离散 token、难以直接处理连续时间序列的问题,本文提出对原架构进行最小化适配,使其可用于连续值时间序列预测。
2025-03-12 cs.LG
Probabilistic Decomposition Transformer for Time Series Forecasting
Southeast University(东南大学)
时间序列预测在灾害预警、天气预报、能源消耗等许多领域都具有重要意义。基于Transformer的模型被认为是序列建模领域的革命。然而,时间序列的复杂时间模式阻碍了模型挖掘可靠的时间依赖。此外,Transformer的自回归形式在推理步骤中引入了累积误差。在本文中,我们提出了概率分解Transformer模型,结合了Transformer与条件生成模型,它提供了复杂的时间序列的层次和可解释的概率预测。Transformer用于学习时间模式并实现初级概率预测,而条件生成模型用于通过引入潜在空间特征表示来实现非自回归分层概率预测。此外,条件生成模型从潜在空间中的概率分布重建序列的典型特征,例如季节性和趋势项,以实现复杂的模式分离并提供可解释的预测。在多个数据集上进行的大量实验证明了该模型的有效性和鲁棒性,表明该模型与现有技术相比具有优势。
2022-10-31 cs.LG
Gated Transformer Networks for Multivariate Time Series Classification
Zhengzhou University(郑州大学);Statistical information center of Henan health commission(河南省卫生健康委员会统计信息中心);Facebook AI(脸书人工智能研究院)
用于时间序列分类的深度学习模型(主要是卷积网络和LSTM)已被社区广泛研究,并在医疗保健,金融,工业工程和物联网等不同领域得到广泛应用。与此同时,Transformer Networks最近在各种自然语言处理和计算机视觉任务上取得了前沿性能。在这项工作中,我们探索了一个简单的扩展,目前的Transformer网络与门控,命名为门控Transformer网络(GTN)的多变量时间序列分类问题。通过合并Transformer的两个塔的门控,它们分别对通道和逐步相关性进行建模,我们展示了GTN如何自然有效地适用于多变量时间序列分类任务。我们对13个数据集进行了全面的实验,并进行了全面的消融研究。我们的研究结果表明,GTN能够实现与当前最先进的深度学习模型竞争的结果。我们还探讨了注意力地图的自然解释GTN的时间序列建模。我们的初步研究结果为Transformer网络在多变量时间序列分类任务上提供了一个强有力的基线,并为未来的研究奠定了基础。
2021-03-26 cs.LG
Multi-resolution Time-Series Transformer for Long-term Forecasting
McGill University(麦吉尔大学);Mila(米拉研究所);ILLS
针对时间序列预测中片段大小影响不同频率模式学习的问题,提出多分支架构MTST,同时建模多分辨率时序模式并采用相对位置编码提取多尺度周期成分,在真实数据集上优于现有技术。
2024-03-22 cs.LG
Scaleformer: Iterative Multi-scale Refining Transformers for Time Series Forecasting
Simon Fraser University(西蒙弗雷泽大学);Borealis AI
最近,由于引入了Transformers,时间序列预测的性能有了很大的提高。在本文中,我们提出了一个通用的多尺度框架,可以应用于最先进的基于变压器的时间序列预测模型(FEDformer,Autoformer等)。通过在多个尺度上使用共享权重迭代地改进预测时间序列,引入架构自适应和专门设计的归一化方案,我们能够在数据集和Transformer架构上实现显着的性能改进,从5.5%提高到38.5%,并且额外的计算开销最小。通过详细的消融研究,我们证明了我们在架构和方法上的每一个贡献的有效性。此外,我们在各种公共数据集上的实验表明,所提出的改进优于其相应的基线同行。我们的代码可在https://github.com/BorealisAI/scaleformer上公开获取。
2023-02-07 cs.LG
Positional Encoding in Transformer-Based Time Series Models: A Survey
本文系统综述了Transformer时间序列模型中的位置编码技术,比较固定、可学习、相对和混合方法在不同任务中的效果,并指出数据特征与计算复杂度之间的权衡,为方法选择与设计提供指导。
2025-09-18 cs.LG
EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series
Curtin University(科廷大学)
EdgeConvFormer通过结合Time2vec、动态图CNN和Transformer,解决Transformer异常检测中数据需求大、位置编码不适用及忽视序列间依赖的问题,并在多尺度真实数据集上实现更优的异常检测性能。
2023-12-04 cs.LG
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting
Northwestern Polytechnical University(西北工业大学)
针对Transformer依赖位置嵌入限制时间序列表示的问题,提出结合金字塔RNN嵌入(PRE)与Transformer的PRformer模型,利用多尺度卷积和RNN保留时间顺序,在真实数据集上达到最先进性能。
2024-08-20 cs.LG
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden(计算机与信息科学系(IDA)、REAL、AIICS、利厄普大学,瑞典)
本文实证比较预训练大规模时间序列模型(如Moirai、TimeGPT)与传统小规模Transformer在多个基准上的表现,揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
MultiResFormer: Transformer with Adaptive Multi-Resolution Modeling for General Time Series Forecasting
Layer 6 AI;University of Toronto(多伦多大学);The Vector Institute(向量研究所)
提出MultiResFormer,通过自适应选择最优patch长度并利用多分支周期性编码,在长期和短期预测中优于现有Transformer和CNN基线,且参数更少。
2024-02-08 cs.LG
Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
Tsinghua University(清华大学)
时间序列中异常点的无监督检测是一个具有挑战性的问题,它要求模型推导出一个可区分的准则。以前的方法主要通过学习逐点表示或成对关联来解决这个问题,然而,这两种方法都不足以解释复杂的动力学。近年来,Transformers在点表示和两两关联的统一建模方面表现出强大的能力,我们发现每个时间点的自注意权重分布能够体现与整个序列的丰富关联。我们的关键观察是,由于异常的罕见性,从异常点到整个序列的非平凡关联是非常困难的,因此,异常的关联应主要集中在其相邻的时间点。这种邻近集中偏差意味着一个基于关联的标准,固有地区分正常和异常点,我们强调通过\emph{Association Discrepancy}。在技术上,我们提出了一个新的\emph{Anomaly-Attention}机制来计算关联差异的\emph{Anomaly Transformer}。设计了一种极大极小策略来放大关联差异的正常-异常可分辨性。Anomaly Transformer在三个应用的六个无监督时间序列异常检测基准上取得了最先进的结果:服务监控,空间和地球探测以及水处理。
2022-06-29 cs.LG
CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting
Alibaba(阿里巴巴)
本文提出CARD模型,通过引入通道对齐注意力结构、token混合模块和鲁棒损失函数,克服了通道独立策略的缺陷,在时间序列预测任务上显著优于现有方法。
2024-02-16 cs.LG
S2TX: Cross-Attention Multi-Scale State-Space Transformer for Time Series Forecasting
Duke University(杜克大学)
针对多变量时间序列预测中变量独立处理、多尺度表示无交互的问题,提出S2TX模型,整合Mamba与带局部窗口注意力的Transformer并引入交叉注意力机制,在7个基准数据集上实现稳健SOTA结果且内存占用低。
2025-02-17 cs.LG
A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting
Southwest Jiaotong University(西南交通大学)
时间序列预测广泛应用于设备生存周期预测、天气预报、交通流量预测等领域。近年来,由于Transformer强大的并行训练能力,一些学者尝试将其应用于时间序列预测。然而,现有的Transformer方法对预测中起决定性作用的小时间段关注不够,使得其对影响时间序列趋势的微小变化不敏感,难以有效学习连续的时间相关特征。针对这一问题,提出了一种基于Transformer的差分注意力融合模型,该模型在经典的Transformer体系结构的基础上,设计了差分层、邻居注意力、滑动融合机制和剩余层。具体地说,相邻时间点的差异提取和关注的差异和邻居的注意。滑动融合机制融合了每个时间点的各种特征,使数据可以参与编码和解码,而不会丢失重要信息。包括卷积和LSTM的残差层进一步学习时间点之间的依赖关系,并使我们的模型能够进行更深入的训练。在三个数据集上的大量实验表明,该方法产生的预测结果与最先进的预测结果相当。
2022-02-23 cs.LG
EMAformer: Enhancing Transformer through Embedding Armor for Time Series Forecasting
针对iTransformer在多变量时间序列预测中落后于MLP模型的问题,提出EMAformer通过嵌入装甲引入三个归纳偏置增强Transformer,在12个基准上实现SOTA,平均降低2.73% MSE和5.15% MAE,提升Transformer方法实用性。
2025-11-11 cs.LG
iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
Tsinghua University(清华大学);Ant Group(蚂蚁集团)
iTransformer通过倒置Transformer的注意力与前馈网络,将时间点嵌入为变量令牌以捕捉多元相关性,在真实数据集上达到最先进性能,提升了泛化能力与回溯窗口利用率。
2024-03-14 cs.LG
Transformers predicting the future. Applying attention in next-frame and time series forecasting
Comrade Cooperative(同志合作社)
直到最近,递归神经网络仍然是捕获序列中的时间依赖关系的最佳方法之一。然而,随着Transformer的引入,已经证明,只有注意力机制而没有任何RNN的架构可以改善各种序列处理任务(例如NLP)的结果。此后的多项研究表明,类似的方法可以应用于图像、点云、视频、音频或时间序列预测。此外,还引入了诸如感知器或告密者之类的解决方案,以扩展Transformer的适用性。我们的主要目标是测试和评估在时间序列数据上应用Transformer类模型的有效性,通过微调超参数,预处理数据,应用降维或卷积编码,我们也在考虑下一个问题--帧预测和探索修改现有解决方案的方法,以实现更高的性能和学习广义知识。
2021-08-18 cs.LG
DyWPE: Signal-Aware Dynamic Wavelet Positional Encoding for Time Series Transformers
Computer Science Department, Texas State University San Marcos, TX 78666, USA(德克萨斯州立大学计算机科学系)
本文提出信号感知的动态小波位置编码 DyWPE,利用离散小波变换从输入时间序列生成位置嵌入,在十个数据集上超越八种现有方法,生物医学信号中平均相对提升 9.1%。
2025-09-18 cs.LG
Client: Cross-variable Linear Integrated Enhanced Transformer for Multivariate Long-Term Time Series Forecasting
Shanghai Jiaotong University(上海交通大学);Eastern Institute for Advanced Study(东方理工高等研究院);Hefei University of Technology(合肥工业大学)
针对多元长期时间序列预测中注意力模块捕获跨时间依赖性的质疑,提出Client模型,通过线性模块学习趋势、注意力模块捕获跨变量依赖,在九个数据集上以最少计算时间和内存消耗实现SOTA性能。
2023-05-30 cs.LG
Unify and Anchor: A Context-Aware Transformer for Cross-Domain Time Series Forecasting
Nanjing University(南京大学);HKUST(GZ)(香港科技大学(广州))
针对跨域时间序列预测中的时间模式复杂性与语义错位问题,提出“Unify and Anchor”迁移范式及基于Transformer的ContexTST模型,通过解耦频率成分和引入外部上下文锚点实现跨域泛化,显著提升了预测性能与零样本迁移能力。
2025-03-03 cs.LG
Integrating Inductive Biases in Transformers via Distillation for Financial Time Series Forecasting
National Chengchi University(中华大学)
提出TIPS框架,通过知识蒸馏将因果性、局部性和周期性等归纳偏置整合到统一Transformer中,在四个主要股票市场实现年化收益、夏普比率和卡尔玛比率分别提升55%、9%和16%,且推理计算量仅为38%。
2026-05-27 cs.LG
FANTF: Fuzzy attention network based transformers for time series analysis
本文提出 FANTF 框架,通过将模糊逻辑与模糊隶属函数嵌入 Transformer 自注意力模块,有效处理时间序列数据的不确定性,显著提升了预测、分类与异常检测性能。
2026-10-16 cs.LG
Domain Adaptation for Time series Transformers using One-step fine-tuning
Aalborg University(奥尔堡大学);IBM Research Europe(IBM欧洲研究院)
本文提出一步微调方法,通过向目标域添加部分源域数据并结合渐进解冻技术微调预训练时间序列Transformer,在室内温度和风电预测中分别提升4.35%和11.54%。
2024-01-12 cs.LG
BlackGoose Rimer: Harnessing RWKV-7 as a Simple yet Superior Replacement for Transformers in Large-Scale Time Series Modeling
本文提出BlackGoose Rimer,将RWKV-7的时间混合与通道混合组件集成到Timer模型中,以更少参数实现1.13至43.3倍性能提升和4.5倍训练时间缩减,为大规模时间序列建模提供了优于Transformer的替代方案。
2025-03-08 cs.LG
FaCTR: Factorized Channel-Temporal Representation Transformers for Efficient Time Series Forecasting
C3 AI
FaCTR是一种轻量级时空Transformer,通过低秩因子分解机和门控机制建模跨通道交互,以约400K参数在11个基准上取得最先进性能,并支持可解释性和自监督预训练。
2025-06-05 cs.LG
A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting
Université Paris Dauphine - PSL(巴黎多芬大学-PSL大学);CREST-ENSAE, Institut Polytechnique de Paris(巴黎综合理工学院CREST-ENSAE)
提出 TKAT 架构,结合 TKAN 与 transformer 的自注意力机制处理多变量时间序列,简化复杂依赖并提升长距离依赖捕获与可解释性。
2024-06-05 cs.LG
LLMs Meet Cross-Modal Time Series Analytics: Overview and Directions
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学);University of Electronic Science and Technology of China(电子科学与技术大学);Technical University of Munich(慕尼黑技术大学);King Abdullah University of Science and Technology(国王阿卜杜勒阿齐兹大学)
本教程概述了基于LLM的跨模态时间序列分析,提出将现有方法分为转换、对齐和融合三类的分类法,并总结了开放挑战与未来方向,旨在平衡有效性与效率。
2025-07-13 cs.AI cs.LG