基于多补丁令牌对齐与混合掩码的时间序列基础模型尺度感知预训练

中文摘要 AI 辅助

在异构数据集上对时间序列基础模型进行预训练时，需有效处理不同采样频率。现有方法要么采用数据集特定的补丁大小与独立前馈网络（FFN），导致表示碎片化；要么强制使用固定补丁大小，忽略固有时间变化。为解决该问题，本文提出SATS，其包含尺度感知令牌对齐机制，将补丁大小视为显式尺度概念。通过引入受对比学习启发的对齐正则化项，SATS在保留不同尺度建模能力的同时，对齐各尺度的表示空间。此外，本文还提出结合随机掩码与连续掩码的混合掩码策略，以捕获多尺度时间结构。在长期时间序列预测（LSTF）基准上的实验结果显示，与竞争基线相比，SATS的均方误差（MSE）提升9.2%，GIFT-Eval MASE提升8.3%；值得注意的是，SATS始终达到最优（SOTA）性能，且模型效率较先进基线提升65.6%，凸显其在时间序列预训练中的有效性与可扩展性。

英文摘要

Pretraining time series foundation models across heterogeneous datasets necessitates effective handling of varying sampling frequencies. Current methods either employ dataset-specific patch sizes and separate FFNs, leading to fragmented representations, or enforce a fixed patch size that neglects inherent temporal variations. To address this, we propose SATS, featuring a scale-aware token alignment mechanism that treats patch size as an explicit notion of scale. By incorporating a contrastive-inspired alignment regularizer, SATS aligns representation spaces across scales while preserving distinct modeling capacities. Furthermore, a hybrid masking strategy combining random and contiguous masking is introduced to capture multi-scale temporal structures. Experimental results on LSTF benchmarks demonstrate that SATS achieves a 9.2% improvement in MSE and an 8.3% gain in GIFT-Eval MASE compared to competitive baselines. Notably, SATS consistently delivers SOTA performance while achieving a 65.6% increase in model efficiency over advanced baselines, highlighting its effectiveness and scalability in time series pretraining.

发表机构

• School of Software, Shandong University（山东大学软件学院）
• Joint SDU–NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University（山东大学-南洋理工大学人工智能联合研究中心（C-FAIR））
• Nanyang Technological University（南洋理工大学）

机构由 AI 辅助整理，请以论文原文为准。