arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2406.02486cs.LG

用于时间序列预测的时间 Kolmogorov-Arnold Transformer

A Temporal Kolmogorov-Arnold Transformer for Time Series Forecasting

Université Paris Dauphine - PSL(巴黎多芬大学-PSL大学);CREST-ENSAE, Institut Polytechnique de Paris(巴黎综合理工学院CREST-ENSAE)

Remi Genet, Hugo Inzirillo

AI总结:

提出 TKAT 架构,结合 TKAN 与 transformer 的自注意力机制处理多变量时间序列,简化复杂依赖并提升长距离依赖捕获与可解释性。

摘要:

捕获多变量数据流中的复杂时间模式和关系是一项困难的任务。我们提出了 Temporal Kolmogorov-Arnold Transformer (TKAT),这是一种新颖的基于注意力机制的架构,旨在使用 Temporal Kolmogorov-Arnold Networks (TKANs) 来解决该任务。受 Temporal Fusion Transformer (TFT) 启发,TKAT 作为一个强大的编码器-解码器模型出现,专门用于处理观测到的特征部分比先验已知部分更重要的任务。这种新架构将 Kolmogorov-Arnold 表示的理论基础与 transformer 的强大能力相结合。TKAT 旨在简化时间序列中固有的复杂依赖关系,使其更具“可解释性”。在此框架中使用 transformer 架构使我们能够通过自注意力机制捕获长距离依赖关系。

英文摘要:

Capturing complex temporal patterns and relationships within multivariate data streams is a difficult task. We propose the Temporal Kolmogorov-Arnold Transformer (TKAT), a novel attention-based architecture designed to address this task using Temporal Kolmogorov-Arnold Networks (TKANs). Inspired by the Temporal Fusion Transformer (TFT), TKAT emerges as a powerful encoder-decoder model tailored to handle tasks in which the observed part of the features is more important than the a priori known part. This new architecture combined the theoretical foundation of the Kolmogorov-Arnold representation with the power of transformers. TKAT aims to simplify the complex dependencies inherent in time series, making them more "interpretable". The use of transformer architecture in this framework allows us to capture long-range dependencies through self-attention mechanisms.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑